AI予想モデルの精度検証
当サイトの競艇AI予想が「どれくらい着順を当てられているか」を、予測と実際のクロス集計（confusion matrix／混同行列）と予測Top-Nの的中到達率で可視化します。 都合の良い数字だけでなく、外れも含めた全対象レースの集計です。
回帰モデルの予測着順 × 実際の着順（confusion matrix／混同行列）
回帰モデルが各艇に付けた予測着順（行）と、実際の着順（列）のクロス集計。 数値は予測着順ごとに実際どの着順だったかの割合で、対角線（予測どおり）が濃いほど精度が高いことを示します。対象 10,883 レース。
| 予測＼実際 | 実1着 | 実2着 | 実3着 |
|---|---|---|---|
| 予測1着 | 56.7% | 26.3% | 17% |
| 予測2着 | 32.8% | 37.7% | 29.6% |
| 予測3着 | 26.4% | 37.5% | 36.2% |
| 予測4着 | 22.7% | 34% | 43.3% |
| 予測5着 | 19.1% | 33.5% | 47.4% |
| 予測6着 | 18.2% | 33% | 48.8% |
例：予測1着の艇が実際に1着だった割合が最も高く、モデルが「強い艇」を的確に見分けられていることが分かります。 （実際の着順は3連単＝1〜3着まで確定分を対象）
3モデルの予測Top-N的中到達率
各モデルが確率順に並べた3連単予想の、予測Top1〜Top6以内に実際の結果が入った累積割合です。 同じ物差しで回帰・Ranker・CatBoostの精度を比較できます。
| モデル | Top1 | Top2 | Top3 | Top4 | Top5 | Top6 | 対象 |
|---|---|---|---|---|---|---|---|
| 回帰 | 5.2% | 9.7% | 13.3% | 16.3% | 19.3% | 21.9% | 33,334 |
| Ranker | 4.5% | 8% | 11.2% | 14% | 16.6% | 19.1% | 33,302 |
| CatBoost | 5.3% | 9.9% | 13.6% | 17% | 20% | 22.7% | 32,149 |
3モデルの役割の違いはAIモデル解説を参照してください。
よくある質問
- confusion matrix(混同行列)とは何ですか？
- 予測と実際の結果をクロス集計した表です。当ページでは回帰モデルが各艇に付けた予測着順（行）と、実際の着順（列）を突き合わせています。対角線（予測どおりの着順）が濃いほど、モデルが着順を正しく当てられていることを意味します。
- 予測Top-Nの的中到達率とは？
- 各モデルが確率順に並べた3連単の予測のうち、実際の結果が上位何番目までに入っていたかの累積割合です。例えばTop6が22%なら、予測上位6通りの中に実際の3連単が入ったのが22%という意味です。3モデルの精度を同じ物差しで比較できます。
- どのモデルが一番精度が高いですか？
- 全期間の集計では、荒れ検知用のCatBoostと主力の回帰モデルが同程度で高く、Rankerはやや低めです。ただしモデルごとに得意な局面（堅い/荒れる）が異なるため、当サイトでは複数モデルを併用しています。数値は当ページで最新の集計を確認できます。
※集計は当サイトが結果を保持する対象レースで、全レースを網羅したものではありません。過去の傾向であり将来の結果を保証しません。