【要約】機械学習モデルは静かに古びる ― 半導体不良予測のドリフト監視と再学習の線引き [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
モデルを製造現場に投入した開発者は、時間の経過とともにモデルの予測精度が低下する問題に直面する。具体的には、以下の課題が挙げられる。
- ・データドリフトの発生：学習時と異なる製品（品種）が混在し、データの性質が変化する。
- ・ラベル確定の遅延：製造現場では検査結果（正解）が後から確定するため、性能劣化の即時検知が困難である。
- ・評価指標のリーク：学習データを用いた自己採点により、基準値が不自然に高くなる（過学習による誤認）。
// Approach
開発者は、モデルの劣化を多角的に捉えるため、監視を3層に分けた多層的なアプローチを採用した。
- ・3層の監視構造：入力分布と予測分布のズレを即時検知し、事後に性能劣化を裏付ける体制を構築する。
- ・欠損パターンによる品種監視：欠損の仕方を「品種の署名」と捉え、未知のグループ混入を検知する。
- ・PSIの活用：Population Stability Indexを用い、予測分布の安定性を定量的に評価する。
- ・Out-of-fold予測の導入：交差検証を用いて、学習データに依存しない現実的な性能基準を算出する。
// Result
凍結データを用いた時系列リプレイにより、ドリフト検知からアクション決定までのプロセスを実証した。
- ・ドリフトの可視化：未知グループ率の増加に伴い、性能指標（PR-AUC）が低下する過程を観測した。
- ・評価の適正化：交差検証により、基準PR-AUCを不自然な1.0から現実的な0.18へ修正した。
- ・運用設計の具体化：異常検知時に「推論を止めず、信頼度を下げて全数検査へ回す」という実戦的な運用フローを定義した。
Senior Engineer Insight
> 精度0.6という低精度のモデルを「止める」のではなく「信頼度を下げて使い続ける」設計は、極めて実戦的だ。自動再学習に頼らず、人間が判断するための「起票」に留める判断も、製造現場の安全性を考慮した賢明な選択である。ただし、監視基盤の構築コストと、ラベル確定までのタイムラグをどう埋めるかが、大規模運用における真の課題となるだろう。