【要約】半導体製造ラインのセンサーデータを現場感覚で読む ― 不良予測データSECOM分析 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
分析者がSECOMデータセットを用いて不良予測モデルを構築する際、評価結果が不当に高くなるという問題に直面した。当初のモデルは、以下の要因により実力以上に高い精度を示していた。
- ・特徴量選択の段階でテストデータの情報を参照してしまうデータリーク。
- ・前処理（標準化等）のパラメータ計算に全データを使用するリーク。
- ・時系列データの性質を無視したランダムな交差検証による評価の歪み。
- ・不均衡データに対して、適合率と再現率を考慮しないAUCのみの評価。
// Approach
分析者は、モデルの精度向上よりもデータの構造理解に重点を置き、評価の厳密化とドメイン知識に基づく仮説検証を行った。具体的には、以下のステップで分析を再構築した。
- ・Nested CVとTimeSeriesSplitを採用し、リークを排除した厳密な評価枠組みを構築。
- ・Random Forestを用い、外れ値や多重共線性に対して頑健なモデルを選択。
- ・欠損パターンの解析により、製造工程のバイパスを示す「品種ミックス」の存在を推測。
- ・前処理の工程数によるスコアへの影響を、対照実験によって定量的に検証。
// Result
厳密な評価の結果、リークによる高スコア（AUC 0.72）は幻であり、現実的な上限はAUC 0.60程度であることを突き止めた。
- ・最も有効な構成は「丁寧な前処理 + Random Forest」のシンプルな形であった。
- ・品種情報のモデル組み込みは、サンプル数不足やデータのドリフトにより精度向上に寄与しなかった。
- ・欠損パターンから品種ミックスの存在を導き、月別不良率の変動要因を論理的に説明した。
Senior Engineer Insight
> 本記事は、機械学習の実装以上に「データの生成プロセス」を理解する重要性を説いている。現場のドメイン知識は、異常値の解釈や欠損の意味を読み解く強力な武器となる。一方で、統計的な有意性を確保するためのサンプル数確保や、未知の品種（ドリフト）への対応といった、実運用における課題も浮き彫りにしている。単なる精度至上主義を排し、データの限界を正しく認識する姿勢は、信頼性の高いシステムを構築する上で不可欠な視点である。