【要約】材料・化学データの特徴量設計——Pipeline によるデータリーク防止と Stability Selection [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
材料科学のエンジニアが、交差検証（CV）で高い精度が出たにもかかわらず、未知の実験データで再現できない問題に直面している。これは、評価プロセスにテストデータの情報が混入する「データリーク」が原因である。具体的には以下の問題が発生している。
- ・前処理リーク：StandardScalerのfitをCVの外で行い、テストデータの統計量が訓練側に漏洩する。
- ・特徴量選択リーク：RFE等の選択処理をCVの外で行い、ノイズが重要変数として誤認される。
- ・グループ漏れ：同一バッチの繰り返し測定データが、訓練とテストに混在して独立性が失われる。
- ・選択の不安定性：小規模データゆえに、CVの分割次第で選ばれる特徴量が偶然に左右される。
// Approach
評価の信頼性を担保するため、処理の自動化と統計的な安定化を組み合わせるアプローチを採用している。具体的には以下のステップで実装を行う。
- ・Pipelineの活用：scikit-learnのPipelineを用い、スケーリングや特徴量選択を各Foldの訓練データ内でのみ完結させる。
- ・分割設計の最適化：同一バッチのデータが存在する場合、GroupKFoldを用いてグループ単位で分割する。
- ・Stability Selectionの導入：データのサブセットを用いた反復試行により、各特徴量の「選択確率」を算出する。
- ・閾値による選別：算出された選択確率に基づき、高い確率で選ばれる安定した特徴量のみを採用する。
// Result
実装を厳格化したことで、過大評価されていたR²スコアが適正な値へと修正された。デモではRFEリークによりR²が+0.15以上インフレしていたが、Pipeline適用により正しい評価が可能となった。また、Stability Selectionにより以下の成果を得ている。
- ・真の支配的特徴量（Ni, T_treat等）を高い確率で特定できた。
- ・ノイズ特徴量を閾値以下に抑え、誤った変数選択を排除した。
- ・効果が小さい変数（Cr）の検出不能性を「データ不足のシグナル」として解釈可能にした。
Senior Engineer Insight
> 実務における精度のインフレは、モデルの性能ではなく実装の不備である。特に材料系のような小規模データでは、単一のCV結果は「偶然の産物」になり得る。Pipelineによるリーク防止は最低条件であり、Stability Selectionによる確率的アプローチこそが、ドメイン知識と機械学習を繋ぐ現実的な解となる。モデルを「予測器」としてだけでなく、「データから何が確信を持って言えるかを可視化する道具」として扱う視点が不可欠である。