정의
워크포워드 분석
워크포워드 분석은 한 구간에서 파라미터를 맞추고 다음 구간에서 그대로 검증한 뒤 앞으로 밀어 반복합니다. 워크포워드 효율을 읽는 법과 검증이 무효가 되는 방식.
워크포워드 분석은 전략의 파라미터를 한 구간의 과거 데이터로 맞추고(표본 내), 그 파라미터를 전혀 바꾸지 않은 채 바로 다음 구간에서 검증한 뒤(표본 외), 두 창을 함께 앞으로 밀어 같은 과정을 반복하는 백테스트 절차입니다. 이어 붙인 표본 외 구간의 성과만이 유일하게 의미 있는 숫자이며, 표본 내 성과는 파라미터를 고르는 데 든 비용일 뿐 증거가 아닙니다. 흔한 분할은 표본 내 12개월, 표본 외 3개월을 분기마다 미는 방식이고, 표본 외 수익률을 표본 내 수익률로 나눈 워크포워드 효율이 약 0.5 아래면 파라미터가 안정적이지 않다고 판단합니다.
- 다른 이름
- 워크포워드 최적화 · 워크포워드 테스트 · 롤링 표본 외 검증
계산 방법
Window k: fit on [t_k, t_k + IS), test on [t_k + IS, t_k + IS + OOS)
Roll: t_{k+1} = t_k + OOS, then repeat
Reported performance = the stitched OOS segments only
WFE = annualised OOS return ÷ annualised IS return
IS 30% / OOS 9% → WFE = 0.30 (below ~0.5: parameters unstable)
Typical split: IS 12 months / OOS 3 months, rolled quarterly
계산 예시: 표본 내 12개월 연환산 수익률 30%, 바로 다음 3개월 표본 외 연환산 수익률 9%. 워크포워드 효율 = 9 ÷ 30 = 0.30, 파라미터 불안정.
표본 외 구간만 숫자로 인정되는 이유
Bailey, Borwein, López de Prado, Zhu는 파라미터 시도를 충분히 반복하면 전략에 우위가 전혀 없어도 높은 표본 내 샤프 비율이 기대값으로 나타난다는 것을 보였습니다. 남는 것이 N번의 무작위 시도 중 최대값이기 때문입니다. Lo와 MacKinlay는 학술적 자산가격 검정에서도 같은 데이터 스누핑 편향을 기록했습니다. 워크포워드 분석은 이에 대한 실무적 방어선입니다. 파라미터는 자신이 평가받는 구간을 한 번도 보지 않았으므로, 이어 붙인 표본 외 기록은 일정대로 재최적화하며 운용한 실계좌가 벌었을 성과가 됩니다. 시도 횟수를 세고, 가장 좋은 표본 내 결과는 신호가 아니라 N번 시도의 기대 최대값으로 취급해야 합니다.
워크포워드 효율 읽는 법
워크포워드 효율은 연환산 표본 외 수익률을 연환산 표본 내 수익률로 나눈 값입니다. 표본 내에서 30%, 표본 외에서 9%를 버는 규칙의 효율은 0.30이며, 표본 내 숫자의 70%는 시장이 아니라 맞춤이 만든 것이었다는 뜻입니다. 약 0.5 아래면 파라미터가 불안정해 거래에 쓸 수 없습니다. 0.5와 1 사이는 우위의 일부가 노이즈에 잃어지는 상태로, 이는 정상입니다. 1을 크게 넘는 값은 규칙보다 그 표본 외 구간에 대해 말해줍니다. QANTERION에는 백테스트 엔진이 없으며, 표본 외 구간에 해당하는 것은 실거래 실행을 활성화하기 전에 실시간 시장 데이터로 진행하는 모의투자 포워드 테스트입니다.
흔한 오해
워크포워드 분석을 무효로 만드는 것은 대개 실행하는 본인입니다. 한 번 돌려 표본 외 기록이 나쁘면 파라미터 범위나 창 길이를 보기 좋아질 때까지 바꿉니다. 그 순간 표본 외 구간은 최적화에 쓰였고 표본 내가 됩니다. 두 번째 오류는 좋은 표본 외 구간 하나를 검증으로 읽는 것인데, 그 구간에서 전략이 거래를 거의 하지 않았다면 의미가 없습니다. 거래가 여섯 번뿐인 3개월 구간은 좋든 나쁘든 통계적 무게가 없습니다.
직접 계산하기
출처
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — Notices of the American Mathematical Society, Vol. 61 No. 5 (2014)
- The probability of backtest overfitting — Journal of Computational Finance (Risk Journals)
- Data-Snooping Biases in Tests of Financial Asset Pricing Models — National Bureau of Economic Research (Andrew W. Lo, A. Craig MacKinlay)
이 용어집은 교육용입니다. 투자 자문이 아니며, 여기 설명된 어떤 지표도 미래 결과를 예측하지 않습니다.
정의를 아는 것은 쉬운 부분입니다
드로다운이 무엇인지 아는 것과, 드로다운에 닿으면 멈추는 시스템을 갖는 것은 다릅니다. QANTERION은 전략이 돌아가는 동안 이 한계를 실제로 적용합니다.