AI models are terrible at betting on soccer—especially xAI Grok | TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
現在のAIベンチマークは、コーディングなどの静的かつ決定論的な環境に偏っており、現実世界の複雑性や不確実性を十分に反映できていない。長期的な時間軸におけるリスク管理や、動的に変化するデータへの適応能力が、最先端モデルにおいても著しく不足していることが課題である。
// Approach
2023-24シーズンのプレミアリーグを仮想的に再現し、8つの主要AIシステムに歴史的統計データを与えた。AIエージェントは、収益の最大化とリスク管理を目的としたモデルを構築し、インターネット接続なしの条件下で、試合結果や得点数に対するベッティングを行い、その適応力を検証した。
// Result
評価されたすべてのフロンティアモデルがシーズンを通じて損失を出し、人間を下回る結果となった。Claude Opus 4.6が平均ROI -11%と最も健闘したが、Grok 4.20などは破産に至った。AIの能力が、長期的な時間軸を要する複雑な問題において限界があることを示した。
Senior Engineer Insight
> ベンチマークの罠を露呈した結果である。コーディング等の静的なタスクで高い性能を示すLLMが、不確実性の高い動的環境下では極めて脆弱であることを示している。実務において、LLMを自律的なリスク管理や意思決定の主体として扱うのは現時点では極めて危険だ。エントロピーの高い実世界では、単なるパターンマッチングではなく、長期的な因果関係の推論と厳格な資金管理ロジックが不可欠である。エンジニアは、LLMの「知能」と「実世界への適応力」を明確に区別して評価すべきである。