AI予想モデルの精度検証
当サイトの競艇AI予想が「どれくらい着順を当てられているか」を、予測と実際のクロス集計（confusion matrix／混同行列）と予測Top-Nの的中到達率で可視化します。 都合の良い数字だけでなく、外れも含めた全対象レースの集計です。
回帰モデルの予測着順 × 実際の着順（confusion matrix／混同行列）
回帰モデルが各艇に付けた予測着順（行）と、実際の着順（列）のクロス集計。 数値は予測着順ごとに実際どの着順だったかの割合で、対角線（予測どおり）が濃いほど精度が高いことを示します。対象 3,607 レース。
| 予測＼実際 | 実1着 | 実2着 | 実3着 |
|---|---|---|---|
| 予測1着 | 56.5% | 26.3% | 17.2% |
| 予測2着 | 34.2% | 36% | 29.8% |
| 予測3着 | 24.3% | 38.8% | 36.9% |
| 予測4着 | 24.2% | 33% | 42.8% |
| 予測5着 | 18.9% | 35.7% | 45.3% |
| 予測6着 | 18% | 32.4% | 49.6% |
例：予測1着の艇が実際に1着だった割合が最も高く、モデルが「強い艇」を的確に見分けられていることが分かります。 （実際の着順は3連単＝1〜3着まで確定分を対象）
3モデルの予測Top-N的中到達率
各モデルが確率順に並べた3連単予想の、予測Top1〜Top6以内に実際の結果が入った累積割合です。 同じ物差しで回帰・Ranker・CatBoostの精度を比較できます。
| モデル | Top1 | Top2 | Top3 | Top4 | Top5 | Top6 | 対象 |
|---|---|---|---|---|---|---|---|
| 回帰 | 5.1% | 9.5% | 13% | 16.1% | 19% | 21.6% | 26,055 |
| Ranker | 4.3% | 7.7% | 10.8% | 13.5% | 16% | 18.4% | 26,023 |
| CatBoost | 5.1% | 9.7% | 13.3% | 16.7% | 19.6% | 22.3% | 24,870 |
3モデルの役割の違いはAIモデル解説を参照してください。
よくある質問
- confusion matrix(混同行列)とは何ですか？
- 予測と実際の結果をクロス集計した表です。当ページでは回帰モデルが各艇に付けた予測着順（行）と、実際の着順（列）を突き合わせています。対角線（予測どおりの着順）が濃いほど、モデルが着順を正しく当てられていることを意味します。
- 予測Top-Nの的中到達率とは？
- 各モデルが確率順に並べた3連単の予測のうち、実際の結果が上位何番目までに入っていたかの累積割合です。例えばTop6が22%なら、予測上位6通りの中に実際の3連単が入ったのが22%という意味です。3モデルの精度を同じ物差しで比較できます。
- どのモデルが一番精度が高いですか？
- 全期間の集計では、荒れ検知用のCatBoostと主力の回帰モデルが同程度で高く、Rankerはやや低めです。ただしモデルごとに得意な局面（堅い/荒れる）が異なるため、当サイトでは複数モデルを併用しています。数値は当ページで最新の集計を確認できます。
※集計は当サイトが結果を保持する対象レースで、全レースを網羅したものではありません。過去の傾向であり将来の結果を保証しません。