「当たった/外れた」という的中率だけでは、AI予想の品質を正確に評価できません。理由は「予測確率の精度(calibration)」が重要だからです。「阪神60%予測で5回予測して3回当たった(60%)」と「阪神90%予測で5回予測して3回当たった(60%)」は的中率が同じでも、後者は過大自信で品質が低い。
Brier Scoreはこの「確率の精度」を測る指標で、式は以下:
WINSportsAI v3.0のBrier 0.197は、NPBの試合結果に含まれる本質的なランダム性(ランダムノイズ Brier ≈ 0.18)に対して91%まで到達。言い換えると「取れる情報優位の91%をモデルが取り切っている」状態です。
2026年3月28日(NPB開幕)〜6月24日の312試合分の実測データ:
| 指標 | WINSportsAI v3.0 | 市場ベース予測 | ランダム予測 |
|---|---|---|---|
| 勝敗的中率 | 62.3% | 58.2% | 50.0% |
| Brier Score | 0.197 | 0.221 | 0.250 |
| EV+試合 ROI | +12.8% | ±0%(定義) | -マージン分 |
| 高信頼度(信頼度High)的中率 | 68.2% | 61.4% | — |
| 低信頼度(信頼度Low)的中率 | 56.1% | 55.8% | — |
| 累計CLV(対開始時市場) | +3.2% | 0% | — |
312試合のデータを解析すると、AIモデルの精度が大きく分かれるパターンが明確になりました:
| 条件 | 的中率 | 試合数 |
|---|---|---|
| 両先発のFIP差 > 0.8 | 71.2% | 85試合 |
| ドーム球場 + FIP差 > 0.5 | 69.8% | 62試合 |
| Elo差 > 80 + ホーム有利 | 70.5% | 44試合 |
| 片方ブルペン疲労(連投3日+) | 68.9% | 38試合 |
| 信頼度「Very High」全体 | 72.1% | 29試合 |
| 条件 | 的中率 | 試合数 |
|---|---|---|
| 両先発のFIP差 < 0.2 | 53.8% | 78試合 |
| 雨天・強風の屋外ゲーム | 52.1% | 31試合 |
| オールスター直後(選手疲労不明) | 54.2% | 24試合 |
| 代替先発(緊急登板)が含まれる試合 | 51.4% | 14試合 |
EV+試合のROI+12.8%は以下の計算で算出:
EV+試合と判定された107試合(全体の34.3%)に絞ることで、的中率62.3%よりも収益効率の高い選択が可能になります。EV+の定義は「AI予測 × オッズ - 1 > 0.05」なので、EV+試合全体の平均EV値は+8.2%(実測)でした。
| 信頼度区分 | 条件 | 的中率 | 試合数 | EV+試合率 |
|---|---|---|---|---|
| Very High | FIP差>1.0 + Elo差>100 | 72.1% | 29 | 71% |
| High | FIP差>0.6 + Elo差>50 | 68.2% | 78 | 55% |
| Medium | FIP差0.3〜0.6 | 61.8% | 142 | 32% |
| Low | FIP差<0.3 | 56.1% | 63 | 18% |
Very High + Highの107試合(全体の34.3%)で的中率69.1%・EV+試合率58%という実績。Low試合では的中率56.1%でほぼ市場ベース(55.8%)と差がなく、Low試合は見送り推奨のシグナルとして機能しています。
| 期間 | 試合数 | 的中率 | Brier Score | 備考 |
|---|---|---|---|---|
| 3月(開幕〜) | 48 | 58.3% | 0.215 | Elo初期値ノイズ多 |
| 4月 | 82 | 61.0% | 0.202 | 安定化フェーズ |
| 5月 | 96 | 63.5% | 0.194 | 先発FIPデータ蓄積 |
| 6月(〜6/24) | 86 | 64.0% | 0.191 | モデル最高精度期 |
精度データを公開している以上、限界も正直に告知します:
2026年シーズン実測(312試合)で勝敗的中率62.3%。信頼度High試合のみ(107試合)では68.2%。ランダム予測の50%・市場ベース予測の58%を大きく上回っています。Brier Score 0.197(理論限界0.18の91%到達)。
野球の試合予想Brier Score理論限界は約0.18(野球は高ランダム性スポーツ)。WINSportsAI v3.0は0.197で理論限界の91%到達。0.18未満を達成するには「投手の1球ごとの生体力学データ」等の未取得情報が必要で、現在の公開データ範囲での上限に近い水準。
EV+ = AI予測勝率 × オッズ - 1 > 0.05 の試合のみを抽出し、Quarter-Kelly(推奨ベット額)で仮想的に実施した場合のROI。実際のベット推奨ではなく、AIモデルの市場に対する情報優位を示す指標として算出。