定義
バックテスト
バックテストは戦略を過去データで走らせ、どう振る舞ったかを推定します。定義、信頼できるテストが備えるべき要素、結果の限界を解説します。
バックテストとは、取引戦略を過去の市場データ上で走らせ、当時どのような成績を出したかを推定する作業です。得られるのはすでに起きた条件下での挙動の推定であって、予測ではありません。その価値は何をモデル化したかにほぼ完全に依存します。手数料、スリッページ、資金調達を省いたテストは実運用の保守的な推定ではなく、別の戦略を測っています。
- 別名
- ヒストリカルシミュレーション · 戦略検証
計算方法
A backtest is credible only when every one of these is modelled:
· Fees, both sides, at the tier actually paid
· Slippage, scaled to order size and market depth
· Funding, for every interval a perpetual position was open
· Fill realism — no filling at the close, the mid, or the signal price
· Out-of-sample data the parameters were never fitted on
信頼できるテストが備えるべきもの
実際に支払うティアでの取引手数料、注文サイズに応じたスリッページ、無期限建玉を保有した各区間の資金調達、そして終値や仲値ではなく利用可能な流動性を尊重した約定です。これらの省略はいずれも結果を同じ方向——見栄えが良くなる方向——へ動かします。摩擦のないバックテストが単に不正確なのではなく体系的に誤っている理由がここにあります。
インサンプルの結果は証拠にならない
あるデータ集合を見て選んだパラメータは、そのデータ集合を記述しているにすぎません。戦略は一度もフィットさせていない期間で検証されて初めて数値に意味が生まれます。しかもその標本には、たまたま起きた相場局面しか含まれず、将来が含む集合よりずっと狭いのです。
よくある誤読
バックテストは予測として読まれがちです。実際には一つの標本を通る一本の経路の記述であり、同じルールでもデータが違えば結果は違います。報告される最大ドローダウンはその標本内の最悪であり、将来のリスクの上限ではなく下限です。
出典
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — American Mathematical Society (Notices of the AMS, Vol. 61 No. 5, 2014)
- Interpretive Notice 9025 — Compliance Rule 2-29: Use of Promotional Material Containing Hypothetical Performance Results — National Futures Association
- The probability of backtest overfitting — Journal of Computational Finance (Risk Journals)
本用語集は教育目的です。ここに投資助言は含まれず、記載のいかなる指標も将来の結果を予測するものではありません。
定義を知るのは簡単な部分
ドローダウンの意味を知っていることと、それに達したら止まる仕組みを持っていることは別です。QANTERIONは戦略の稼働中にこれらの制限を実際に適用します。