【要約】kaggle ROGIIコンペ 6位 - 勘違いからソロ金メダルでマスターへ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
筆者はROGIIコンペにおいて、Publicリーダーボード（LB）のスコアに過適合する問題に直面した。Public LBの数値のみを追い求めた結果、真の予測性能を見失うリスクが生じた。
- ・Public LBのスコアがCV（交差検証）スコアよりも良く、過適合が発生していた。
- ・Public Notebookの解法がPrivate LBで大幅に精度を落とす（シェイクダウン）懸念があった。
- ・自身の解法がPublicスコアの低下を招き、金メダル圏外へ転落する危機に陥った。
// Approach
筆者は、Public LBへの過適合を脱するために、CVの改善を最優先する戦略へと転換した。物理的な知見とLLMによる効率化を組み合わせたアプローチを採用している。
- ・Discussionの議論に基づき、Particle Filter（物理モデル）を主軸とした手法を採用した。
- ・データ分析を徹底し、予測値に微差を生じさせる入力を追加してデータの多様性を確保した。
- ・LLM（Claude）を、コーディングや実験管理、ドキュメント作成の自動化に活用した。
// Result
筆者は最終的に、ROGIIコンペで6位（金メダル）を獲得し、Kaggle Masterへと昇格した。
- ・物理モデルを選択したことで、大規模なシェイクアップの中でもPrivate LBの精度を維持できた。
- ・データ分析による多様性の確保が、未知のデータに対する堅牢性に寄与した。
- ・4か月間で銀メダル2枚、ソロ金メダル1枚を獲得するという成果を上げた。
Senior Engineer Insight
> 実務におけるMLモデル構築において、ドメイン知識（物理モデル）と厳格な検証（CV）の重要性を再認識させる内容である。Publicな指標に惑わされず、CVとの整合性を重視する姿勢は、本番環境での精度劣化を防ぐために不可欠だ。また、LLMを単なるコード生成器ではなく、実験管理の「エージェント」として扱う手法は、開発体験（DX）を劇的に向上させる。ただし、物理モデルへの過度な依存は、データ分布の急変時に脆さを見せるリスクがあるため、ハイブリッドな設計が求められる。