Definição
Overfitting
Overfitting é ajustar uma estratégia ao ruído histórico em vez do sinal. Definição, os sinais de alerta e por que é o resultado padrão da otimização.
Overfitting é o resultado de ajustar uma estratégia até que ela descreva o ruído de uma amostra histórica em vez de qualquer estrutura repetível no mercado. O indício é que o desempenho colapsa em dados dos quais os parâmetros não foram escolhidos. Não é um modo de falha raro, e sim o resultado padrão da otimização sem restrição: com parâmetros e tentativas suficientes, qualquer conjunto de dados pode ser ajustado perfeitamente.
- Também chamado de
- ajuste de curva · data snooping
Como se calcula
Symptoms of an overfitted strategy:
· Performance collapses on data the parameters were not chosen from
· Small parameter changes produce large performance changes
· More rules and more conditions than the sample can support
· An equity curve that is smooth in-sample and jagged out-of-sample
Cada backtest rodado tem um custo
Testar cem variantes e ficar com a melhor garante um bom resultado in-sample mesmo que nenhuma delas tenha vantagem — o vencedor é selecionado pelo ruído. Por isso o número de configurações testadas precisa ser contado e descontado, e por isso uma estratégia que sobreviveu a um teste honesto é evidência mais forte do que uma que venceu entre mil.
Robustez parece entediante
Uma estratégia cujo desempenho degrada suavemente conforme os parâmetros se afastam do ótimo tem mais chance de estar descrevendo algo real do que outra com um pico agudo. Se um lookback de cinco períodos é lucrativo e o de seis não é, a estratégia encontrou um artefato da amostra, não uma propriedade do mercado.
Como é mal interpretado
O teste out-of-sample é tratado como cura. Ele é apenas um teste, e para de funcionar no momento em que seus resultados são usados para revisar a estratégia: depois de olhar o holdout e mudar algo, o holdout virou in-sample e a evidência honesta acabou.
Veja também
Fontes
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — Notices of the American Mathematical Society (Bailey, Borwein, López de Prado, Zhu)
- … and the Cross-Section of Expected Returns — Campbell R. Harvey, Yan Liu, Heqing Zhu — Duke University (published in the Review of Financial Studies)
- Data-Snooping Biases in Tests of Financial Asset Pricing Models — National Bureau of Economic Research (Andrew W. Lo, A. Craig MacKinlay)
As definições são educacionais. Nada aqui é consultoria de investimento, e nenhuma métrica descrita prevê resultados futuros.
Definições são a parte fácil
Saber o que é drawdown não é o mesmo que ter um sistema que para nele. A QANTERION aplica esses limites enquanto a estratégia roda.