정의
백테스트
백테스트는 과거 데이터에서 전략을 돌려 어떻게 작동했을지 추정합니다. 정의, 신뢰할 만한 테스트가 갖춰야 할 요소, 결과의 한계.
백테스트는 거래 전략을 과거 시장 데이터 위에서 실행해 당시 어떤 성과를 냈을지 추정하는 작업입니다. 이미 일어난 조건에서의 행동 추정치를 제공할 뿐 예측이 아닙니다. 백테스트의 가치는 무엇을 모형화했는지에 거의 전적으로 달려 있습니다. 수수료·슬리피지·펀딩비를 뺀 테스트는 실전 결과의 보수적 추정이 아니라, 아예 다른 전략을 측정한 것입니다.
- 다른 이름
- 과거 시뮬레이션 · 전략 검증
계산 방법
A backtest is credible only when every one of these is modelled:
· Fees, both sides, at the tier actually paid
· Slippage, scaled to order size and market depth
· Funding, for every interval a perpetual position was open
· Fill realism — no filling at the close, the mid, or the signal price
· Out-of-sample data the parameters were never fitted on
신뢰할 만한 테스트에 반드시 들어가야 할 것
실제로 지불하는 등급의 거래 수수료, 주문 규모에 맞춰 조정된 슬리피지, 무기한 포지션을 보유한 모든 구간의 펀딩비, 그리고 종가나 중간가가 아니라 실제 유동성을 존중하는 체결입니다. 이들 각각의 누락은 결과를 모두 같은 방향, 즉 더 좋아 보이는 방향으로 밀어냅니다. 마찰 없는 백테스트가 단지 부정확한 것이 아니라 체계적으로 틀린 이유입니다.
표본 내 결과는 증거가 아니다
어떤 데이터셋을 보고 고른 파라미터는 그 데이터셋을 설명할 뿐입니다. 전략은 한 번도 적합시키지 않은 기간에서 검증되어야 비로소 숫자에 의미가 생깁니다. 그리고 그렇더라도 표본에는 우연히 발생한 시장 국면만 담겨 있으며, 이는 미래가 담고 있는 집합보다 훨씬 좁습니다.
흔한 오해
백테스트는 흔히 예측으로 읽힙니다. 실제로는 하나의 표본을 지나는 하나의 경로에 대한 서술입니다. 같은 규칙에 다른 데이터면 다른 결과가 나옵니다. 보고된 최대 낙폭은 그 표본 안의 최악이며, 미래 위험의 상한이 아니라 하한입니다.
직접 계산하기
출처
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — American Mathematical Society (Notices of the AMS, Vol. 61 No. 5, 2014)
- Interpretive Notice 9025 — Compliance Rule 2-29: Use of Promotional Material Containing Hypothetical Performance Results — National Futures Association
- The probability of backtest overfitting — Journal of Computational Finance (Risk Journals)
이 용어집은 교육용입니다. 투자 자문이 아니며, 여기 설명된 어떤 지표도 미래 결과를 예측하지 않습니다.
정의를 아는 것은 쉬운 부분입니다
드로다운이 무엇인지 아는 것과, 드로다운에 닿으면 멈추는 시스템을 갖는 것은 다릅니다. QANTERION은 전략이 돌아가는 동안 이 한계를 실제로 적용합니다.