【要約】R²だけ見ない——材料データの回帰評価と残差の読み方 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
機械学習モデルの開発者が、R²などの単一の指標のみでモデルの性能を判断し、実務で使えないモデルを「良好」と誤認してしまう問題がある。モデル全体の傾向は捉えていても、個々の予測が許容誤差を超えているケースを見逃しやすい。具体的には以下の課題が挙げられる。
- ・R²が高くても、物理的な許容誤差（MPa等）を満たしていない。
- ・特定の物性値や実験条件において、モデルが系統的に外している。
- ・訓練データに対する残差のみを見て、未知データへの汎化性能を過大評価する。
// Approach
モデルの診断精度を高めるため、指標の併記と、Out-of-Fold（OOF）予測を用いた多角的な残差分析を行うアプローチを提案している。単なる数値評価に留まらず、誤差の「形」と「場所」を可視化する。具体的な手順は以下の通りである。
- ・R²とMAEを併記し、全体のトレンドと物理的な絶対誤差の両面から評価する。
- ・cross_val_predictを用い、データリークを防いだOOF予測から残差を算出する。
- ・残差を予測値に対して描き、不均一分散や系統的な偏りを確認する。
- ・残差を実験条件（温度、組成等）に対して描き、モデルが苦手な領域を特定する。
// Result
この手法を導入することで、開発者はモデルの「失敗のパターン」を具体的に把握できる。これにより、モデルの改善に向けた論理的な意思決定が可能となる。具体的な成果は以下の通りである。
- ・誤差の増大原因（不均一分散や特定の条件帯での過小予測）を特定できる。
- ・次に実施すべき実験（データ不足領域の補完）や特徴量設計を明確にできる。
- ・モデルの信頼性を物理的な観点から検証し、実務への適用判断を誤らなくなる。
Senior Engineer Insight
> 材料開発のような小規模かつ高コストなデータセットでは、モデルの「精度」以上に「どこで外れるか」の解釈性が重要だ。R²の高さに惑わされるのは初歩的なミスである。OOFを用いた残差分析を標準プロセスに組み込むことで、モデルの限界を物理現象（相変態や測定誤差）と結びつけて議論できる。これは、単なるデータサイエンスを、ドメイン知識を統合した「エンジニアリング」へと昇華させるために不可欠な工程である。