【要約】「とりあえずSMOTE」はいつ無意味になるのか — Class Imbalance, Redux を読んで再現実験した [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
機械学習エンジニアが、不正検知や医療診断などの不均衡データに対処する際、適切な手法の選定基準が不明確であるという問題に直面している。多くの現場では経験則に基づいた手法選択が行われているが、以下の課題がある。
- ・class_weightやSMOTEが「いつ効かなくなるのか」という理論的境界が不明確である。
- ・不均衡が分類器の分離面を歪ませるメカニズムがブラックボックス化している。
- ・「SMOTEは過学習しやすい」「アンダーサンプリングは情報を捨てる」といった抽象的な議論に留まっている。
// Approach
筆者は論文の理論に基づき、不均衡が分類器を壊すメカニズムを定式化し、既存手法の限界を明らかにしている。具体的には以下のステップで検証を行った。
- ・理論分析: 経験損失が0（線形分離可能）な場合、重み付け操作は最適解に影響を与えないことを証明。
- ・SMOTEの再定義: SMOTEは実質的にコスト重み付けと同等の挙動であり、凸包の外側に点を作れない限界を指摘。
- ・推奨アプローチ: 均衡アンダーサンプリングでバイアスを除去し、バギングで分散を抑制する「Balanced Bagging」を提唱。
- ・再現実験: scikit-learnを用い、分離可能性や次元数に応じた各手法のF2スコアとRecallを比較検証。
// Result
実験の結果、訓練データの分離可能性によって、最適な手法が明確に異なることが実証された。
- ・分離不可能な場合: class_weightやSMOTEがRecall向上に大きく寄与する。
- ・分離可能な場合: 重み付け系は無力であり、サンプリング系が分離面を動かす。
- ・高次元・不均衡緩め: Balanced BaggingがF2スコアにおいて最も安定して高い性能を示す。
- ・実務指針: 「まず訓練誤差を確認し、分離可能ならBalanced Baggingを選択する」という具体的な判断基準を得た。
Senior Engineer Insight
> 現場では「とりあえずSMOTE」という安易な選択が、高次元データや分離可能なデータに対しては計算資源の無駄になる。本記事の「訓練誤差を確認する」という指針は、モデル選定のコストを抑える上で極めて実践的だ。特に、不均衡データ特有の「バイアス」と「分散」を分離して考える視点は、複雑なパイプラインを設計する際のデバッグ能力を向上させる。実務では、まずデータの分離可能性を疑うべきである。