Definisi
Overfitting
Overfitting adalah menyetel strategi ke derau historis alih-alih sinyal. Definisi, tanda peringatan, dan mengapa ia hasil bawaan dari optimasi.
Overfitting adalah hasil dari menyetel sebuah strategi sampai ia menggambarkan derau dalam sampel historis alih-alih struktur pasar yang dapat berulang. Tandanya adalah kinerja runtuh pada data yang tidak dipakai untuk memilih parameternya. Ini bukan mode kegagalan langka, melainkan hasil bawaan dari optimasi tanpa batasan: dengan parameter dan percobaan yang cukup, kumpulan data mana pun bisa dicocokkan dengan sempurna.
- Dikenal juga sebagai
- curve fitting · data snooping
Cara menghitungnya
Symptoms of an overfitted strategy:
· Performance collapses on data the parameters were not chosen from
· Small parameter changes produce large performance changes
· More rules and more conditions than the sample can support
· An equity curve that is smooth in-sample and jagged out-of-sample
Setiap backtest yang dijalankan ada biayanya
Menguji seratus varian lalu menyimpan yang terbaik menjamin hasil in-sample yang bagus bahkan bila tak satu pun punya keunggulan — pemenangnya dipilih oleh derau. Karena itu jumlah konfigurasi yang dicoba harus dihitung dan didiskon, dan karena itu strategi yang lolos satu uji jujur adalah bukti lebih kuat daripada yang menang dari seribu percobaan.
Kekokohan tampak membosankan
Strategi yang kinerjanya menurun perlahan saat parameter menjauh dari titik optimum lebih mungkin menggambarkan sesuatu yang nyata dibanding strategi dengan puncak tajam. Jika lookback lima periode menguntungkan dan enam periode tidak, strategi itu menemukan artefak sampel, bukan properti pasar.
Cara salah menafsirkannya
Pengujian out-of-sample diperlakukan sebagai obat. Padahal ia hanya sebuah uji, dan berhenti bekerja begitu hasilnya dipakai untuk merevisi strategi: setelah Anda melihat data holdout lalu mengubah sesuatu, holdout itu sudah menjadi in-sample dan bukti jujurnya lenyap.
Hitung sendiri
Lihat juga
Sumber
- Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance — Notices of the American Mathematical Society (Bailey, Borwein, López de Prado, Zhu)
- … and the Cross-Section of Expected Returns — Campbell R. Harvey, Yan Liu, Heqing Zhu — Duke University (published in the Review of Financial Studies)
- Data-Snooping Biases in Tests of Financial Asset Pricing Models — National Bureau of Economic Research (Andrew W. Lo, A. Craig MacKinlay)
Definisi ini bersifat edukasi. Tidak ada nasihat investasi di sini, dan tidak ada metrik yang dijelaskan yang memprediksi hasil di masa depan.
Mengetahui definisi adalah bagian yang mudah
Tahu apa itu drawdown tidak sama dengan punya sistem yang berhenti saat drawdown tercapai. QANTERION menerapkan batasan itu selagi strategi berjalan.