戦略と検証
GSDAQの戦略検証:2026年3月からの自動売買
私たちは2026年3月から戦略を自動売買で運用してきました。バックテストの限界と、事前登録、ホールドアウト、将来データでの検証による戦略の確かめ方を解説します。
なぜバックテストは実際より良く見えるのか
多くの場合、評価に使うのと同じデータを見てからルールを選んでいるためです。移動平均の期間や決済の条件を何通りも試せば、そのうちの1つは偶然だけで過去によく当てはまります。バックテストは、後に上場廃止となった企業、シグナルから約定までの遅れ、スプレッドやスリッページといった、現実にかかるコストも省きがちです。Harvey、Liu、Zhuは、数十年にわたるデータマイニングを踏まえると、新たに報告されたリターン要因は慣例のt値2.0ではなく3.0を超える必要があると論じています。そのため私たちは、どのバックテスト結果も予測ではなく上限として読みます。私たちの社内エージェントシステムは2026年3月から戦略を自動売買でも運用しており、ルールは過去のデータだけでなく実際の市場でも評価されています。本記事は2026年9月27日時点のGSDAQのリサーチ手順を説明するもので、特定の戦略の成績は示しておらず、投資助言ではありません。 Harvey、Liu、Zhu(NBER w20592):… and the Cross-Section of Expected Returns
売買ルールの事前登録とは何か
テストを実行する前に、仮説、データ、コスト、正確な合格基準を書き留め、結果を見た後にその基準を動かさないことです。Center for Open Scienceは事前登録を、研究計画をあらかじめ明記して、計画した分析とそうでない分析を区別できるようにすることだと説明し、同じデータで仮説を立てながら検証することはできないと述べています。私たちのリサーチでは、合格基準を実行前に検証スクリプトに書き込みます。候補が基準に届かなければ、現行のルールを維持します。基準が誤っていたと判断した場合は、その項目を閉じて新しい項目として登録し直し、黙って書き換えることはしません。この記録は公開の登録簿や外部監査ではなく社内の記録で、私たちが戦略のリターンを公表しない理由の1つでもあります。 Center for Open Science:事前登録とは(英語)
画面が狭い場合は表を左右にスクロールできます。キーボードでは表にフォーカスを合わせ、矢印キーを使ってください。
| 項目 | 記録する内容 | なぜ必要か |
|---|---|---|
| 仮説 出典 | 何がなぜ起きるはずかを一文で | あいまいな考えは、どんな結果にも後から合わせられます |
| 対象銘柄 | 過去時点の指数構成銘柄。後に上場廃止となった企業も含む | 今残っている銘柄だけでは過去が良く見えます |
| タイミングとコスト | 終値でシグナルを計算し、翌営業日に取引し、すべての取引にコストを計上 | 同じ終値での約定やコストゼロは実現できません |
| 合格基準 | 現行ルールを上回る、偶然かどうかを調べる再標本化の検定に通る、ホールドアウトで同じ方向 | 先に固定するので、ゴールを動かせません |
| ペーパー検証の条件 | 予算、最低取引日数と取引回数、判定日 | 序盤の偶然の好成績を成功と呼べないようにします |
ホールドアウトとは何か、なぜ一度しか使わないのか
ホールドアウトとは、ルールと設定を選ぶ間は手を付けずに残しておき、判定に一度だけ使うデータの期間で、通常は直近の数年です。中身を見て設定を変え、また見ることを繰り返すと、その期間はいつの間にか学習データになります。私たちの研究では、ホールドアウトの開始日を実行前にコードで固定し、候補は学習期間と同じ方向の結果をホールドアウトでも示す必要があります。学習期間とホールドアウトの分け方を変えて何度か繰り返す研究もあります。隣り合う設定値でも同じ方向になるかを確かめ、選んだ値が偶然の突出ではなく、なだらかな高原の上にあるかを見ます。ホールドアウトだけでは十分ではありません。Bailey、Borwein、López de Prado、Zhuは、一般的なホールドアウトの手法は投資のバックテストでは信頼性が低い場合があると指摘しています。そのため次に将来データでの検証を行います。 Bailey、Borwein、López de Prado、Zhu:The Probability of Backtest Overfitting(PDF・英語)
図を文章で読む
- 1 · まず書き留める: 仮説+合格基準
- 2 · 学習期間: 設定を選ぶ
- 3 · ホールドアウトは一度: 同じ方向か
- 4 · 将来のペーパー検証: 最低日数+取引回数
- 5 · 人が判断する: 合格は候補にすぎない
なぜ将来データでの検証が最終判定になるのか
ルールを固定した後に記録されるので、将来の情報が紛れ込む余地がないためです。私たちの戦略は2026年3月から、実際の口座とペーパー口座で自動売買により運用してきました。私たちの登録簿のペーパー検証には、それぞれ仮説、予算、最低取引日数と取引回数、満たすべき条件、判定日を記載しています。最低限の標本に達するまで判定は「標本不足」です。数値は示せますが、合格とも不合格とも言いません。変更を試したい場合は元のルールを書き換えず、同じ日に別の変形として並べて動かします。ペーパーでの約定もなお楽観的です。Alpacaなど証券会社の資料は、ペーパートレードでは注文による市場への影響、遅延によるスリッページ、注文の順番待ちが反映されないと説明しています。過去時点のスナップショットがないデータから作るスコアのように、そもそも正直にバックテストできない入力もあり、それには将来の記録しか答えられません。 Alpacaの資料:ペーパートレードとその限界(英語)
自分たちをだまさないために何をしているか
試した回数を数え、提案には別途、批判的なレビューを通します。本当の優位性がないルールを20個、5%の有意水準で検定すると、平均して1個は偶然に有意に見えます。2026年8月末の時点で、私たちのリサーチフォルダーで検定した変形は1,600を超えていたため、最も良く見える結果も、それだけの試行と比べて判断する必要があります。規模の大きい研究では、この問題のための指標を報告します。多数の試行から選んだことによる偏りと、正規分布に従わないリターンを補正するデフレーテッド・シャープレシオ、そしてバックテストの過剰最適化確率です。銘柄を順位付けするルールを、同じ対象銘柄から無作為に選んだ場合と比較する研究もあります。批判的なレビューではデータスヌーピング、将来情報の混入、コスト、コードの誤りを探し、却下したアイデアは記録に残して、名前を変えて再び出てこないようにします。提案された変更の大半は合格せず、合格しても候補になるだけで、変更するかどうかは人が判断します。 Bailey、López de Prado:The Deflated Sharpe Ratio(PDF・英語)
GSDAQのシグナルは検証されているか
はい。リアルタイムで継続的に検証しています。GSDAQの戦略リストは、私たちの自動売買が使うのと同じ選定コードで作られ、各リストは取引日ごとに将来データの追跡用ブックとしても運用しています。成長株トレンドのリストと同じ系統のルールは、2026年3月から自動売買で取引してきました。チャートのロング・ショート表示は社内のトレーディング用ダッシュボードと同じコードで描かれ、そのダッシュボードのシグナルは私たちの自動売買の戦略の1つに使われています。ただし、検証していることと合格したことは同じではありません。画面のシグナルはルールが過去の価格やデータから検出した内容であり、注文でも推奨でも保証でもありません。銘柄の詳細画面では、一部の指標に「観察指標」との表示があり、事前登録の基準を満たさない項目を含むと記載しています。どのルールを変えるかはリサーチでの検証が決め、私たちは戦略のリターンや勝率を公表しません。 GSDAQ:シグナルの仕組み(英語版)
どんな戦略の主張も同じ方法で確かめるには
私たちのものも含め、どのバックテストにも同じ質問を投げかけてください。下の表は採点表ではなく確認リストです。これらの質問に答えられない主張は、まだ過去への当てはめ以上のものを示していません。過去の結果やペーパーでの結果は将来の結果を保証するものではなく、本記事は特定の有価証券の売買を勧めるものではありません。
画面が狭い場合は表を左右にスクロールできます。キーボードでは表にフォーカスを合わせ、矢印キーを使ってください。
| 質問 | なぜ重要か |
|---|---|
| 合格基準をテストの前に書いたか | そうでなければ結果を見た後にゴールが動きます |
| 対象銘柄に、後に上場廃止となった企業を含むか | 残った銘柄だけでは過去が良く見えます |
| 取引のタイミングとコストをどう仮定したか | 同じ終値での約定やコストゼロは実現できません |
| いくつの変形を試したか | 試行が多いほど偶然の当てはまりが起きやすくなります |
| 手を付けていない期間を一度だけ使ったか | 何度ものぞくと学習データになります |
| ルールを固定した後の将来の記録があるか | 固定後の結果だけが後知恵から自由です |