정의
과적합
과적합은 신호가 아니라 과거의 노이즈에 전략을 맞추는 것입니다. 정의, 경고 신호, 그리고 왜 최적화의 기본 결말인지.
과적합은 전략을 계속 조정한 끝에 시장의 반복 가능한 구조가 아니라 과거 표본의 노이즈를 설명하게 된 상태입니다. 신호는 분명합니다. 파라미터를 고르는 데 쓰이지 않은 데이터에서 성과가 무너집니다. 이는 드문 실패가 아니라 제약 없는 최적화의 기본 결말입니다. 파라미터와 시도 횟수가 충분하면 어떤 데이터셋도 완벽하게 맞출 수 있습니다.
- 다른 이름
- 커브 피팅 · 데이터 스누핑
계산 방법
Symptoms of an overfitted strategy:
· Performance collapses on data the parameters were not chosen from
· Small parameter changes produce large performance changes
· More rules and more conditions than the sample can support
· An equity curve that is smooth in-sample and jagged out-of-sample
돌린 백테스트마다 비용이 든다
백 가지 변형을 시험하고 가장 좋은 것을 남기면, 그중 어느 것도 우위가 없더라도 좋은 표본 내 결과는 보장됩니다. 승자가 노이즈에 의해 선택되기 때문입니다. 시도한 구성의 수를 세어 할인해야 하는 이유이며, 정직한 검증 하나를 통과한 전략이 천 번 중에서 이긴 전략보다 강한 증거인 이유입니다.
견고한 전략은 지루해 보인다
파라미터가 최적점에서 멀어질수록 성과가 완만하게 나빠지는 전략은, 뾰족한 봉우리를 가진 전략보다 실재하는 무언가를 설명할 가능성이 높습니다. 룩백 5기간에서는 수익이 나고 6기간에서는 나지 않는다면, 그 전략이 찾은 것은 시장의 속성이 아니라 표본의 산물입니다.
흔한 오해
표본 외 검증은 치료법처럼 취급됩니다. 그러나 그것은 검증일 뿐이며, 그 결과를 전략 수정에 쓰는 순간 작동을 멈춥니다. 홀드아웃을 들여다보고 무언가를 바꿨다면, 그 홀드아웃은 이미 표본 내가 되었고 정직한 증거는 사라졌습니다.
직접 계산하기
출처
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — Notices of the American Mathematical Society (Bailey, Borwein, López de Prado, Zhu)
- … and the Cross-Section of Expected Returns — Campbell R. Harvey, Yan Liu, Heqing Zhu — Duke University (published in the Review of Financial Studies)
- Data-Snooping Biases in Tests of Financial Asset Pricing Models — National Bureau of Economic Research (Andrew W. Lo, A. Craig MacKinlay)
이 용어집은 교육용입니다. 투자 자문이 아니며, 여기 설명된 어떤 지표도 미래 결과를 예측하지 않습니다.
정의를 아는 것은 쉬운 부분입니다
드로다운이 무엇인지 아는 것과, 드로다운에 닿으면 멈추는 시스템을 갖는 것은 다릅니다. QANTERION은 전략이 돌아가는 동안 이 한계를 실제로 적용합니다.