【要約】Claude Codeと作る競馬予測システム開発記(2) データ収集パイプライン編 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、競馬予測モデルの精度が予期せず低下するという問題に直面した。原因はモデルのバグではなく、データ収集工程における「静かな壊れ」であった。
- ・サイトのHTML構造変更により、パース処理が欠損値を生成。
- ・エラーが発生せず処理が継続したため、異常の検知が遅延。
- ・学習データの品質が悪化し、AUCが0.80から0.56へ急落。
// Approach
開発者は、データ収集の堅牢性と効率性を高めるために以下の設計を採用した。
- ・HTML保存とパース工程を分離し、再スクレイピングを回避。
- ・JRAと地方競馬（NAR）で異なる収集経路を構築。
- ・マスタ情報の更新頻度を制御し、不要なアクセスを削減。
- ・アクセス制限を避けるため、リクエスト間隔を動的に調整。
// Result
開発者は、HTML構造の判定ロジックを修正することで、モデルの精度を回復させた。
- ・学習データの量を変えずに、AUCを元の水準へ即座に復旧。
- ・データ「量」ではなく「品質」が精度を左右することを実証。
- ・主要列の欠損率を監視する運用フローの検討を開始。
Senior Engineer Insight
> データパイプラインにおける「サイレント・フェイラー」は、MLシステムにおける最大の脅威である。パース処理が例外を投げずに欠損値を埋める挙動は、モデルの精度を静かに破壊する。単なる「処理の成否」の監視ではなく、データの統計的性質、特に欠損率の推移を監視する仕組みを組み込むべきである。