定義
過学習（オーバーフィッティング）
過学習とは、シグナルではなく過去のノイズに戦略を合わせ込むことです。定義、警告サイン、そしてなぜ最適化の既定の結末なのかを解説します。
過学習とは、戦略を調整し続けた結果、市場の再現可能な構造ではなく過去標本のノイズを記述してしまった状態です。兆候は明確で、パラメータの選定に使われなかったデータ上で成績が崩れます。これは稀な失敗ではなく、制約のない最適化の既定の結末です。パラメータと試行回数が十分にあれば、どんなデータ集合も完璧に当てはめられます。
- 別名
- カーブフィッティング · データスヌーピング
計算方法
Symptoms of an overfitted strategy:
· Performance collapses on data the parameters were not chosen from
· Small parameter changes produce large performance changes
· More rules and more conditions than the sample can support
· An equity curve that is smooth in-sample and jagged out-of-sample
バックテストを回すたびにコストが発生する
百通りを試して最良のものを残せば、そのどれにも優位性がなくても良好なインサンプル結果が保証されます。勝者はノイズによって選ばれているからです。試した構成の数を数えて割り引かなければならない理由がこれであり、一度の誠実な検証を通った戦略のほうが、千回のうちから勝ち残った戦略より強い証拠である理由でもあります。
頑健な戦略は退屈に見える
パラメータが最適値から離れるにつれて成績がなだらかに劣化する戦略は、鋭い山を持つ戦略よりも実在するものを記述している可能性が高いといえます。ルックバック5期間で利益が出て6期間では出ないなら、その戦略が見つけたのは市場の性質ではなく標本の産物です。
よくある誤読
アウトオブサンプル検証は治療法のように扱われます。しかしそれは検証にすぎず、その結果を使って戦略を修正した瞬間に機能を失います。ホールドアウトを見て何かを変えたなら、そのホールドアウトはインサンプルになり、誠実な証拠は失われています。
出典
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — Notices of the American Mathematical Society (Bailey, Borwein, López de Prado, Zhu)
- … and the Cross-Section of Expected Returns — Campbell R. Harvey, Yan Liu, Heqing Zhu — Duke University (published in the Review of Financial Studies)
- Data-Snooping Biases in Tests of Financial Asset Pricing Models — National Bureau of Economic Research (Andrew W. Lo, A. Craig MacKinlay)
本用語集は教育目的です。ここに投資助言は含まれず、記載のいかなる指標も将来の結果を予測するものではありません。
定義を知るのは簡単な部分
ドローダウンの意味を知っていることと、それに達したら止まる仕組みを持っていることは別です。QANTERIONは戦略の稼働中にこれらの制限を実際に適用します。