【要約】MixUpのalphaを上げたら精度が下がった話｜confidenceは理論通り、精度は逆だった [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がMixUpを導入する際、精度向上を期待して$\alpha$値を調整するが、期待に反して精度が低下する問題がある。\n・MixUpは本来、過学習を抑制するための手法である。\n・しかし、既に正則化が効いているモデルでは、MixUpが学習信号を複雑化させる。\n・その結果、学習が進まず精度が低下するリスクが生じる。
// Approach
筆者がMixUpの混合強度$\alpha$が精度とConfidenceに与える影響を、実験を通じて検証した。\n・$\alpha$を0、0.1、0.2、0.4、1.0の5段階で設定した。\n・ベースラインはConv2D×2、GAP、Dropout=0.2の構成とした。\n・Test Accuracyとmean_confidenceの2指標を比較した。
// Result
実験の結果、$\alpha$の増加に伴い精度は低下したが、Confidenceは理論通り減少した。\n・Test Accuracyは57.40%から53.81%へ低下した。\n・mean_confidenceは0.4724から0.4091へ減少した。\n・過学習が起きていないモデルでは、MixUpは精度低下の副作用を生む。
Senior Engineer Insight
> MixUpは万能な手法ではない。導入前にモデルの過学習状態を評価すべきである。過学習が起きていないモデルへの適用は、学習の難易度を上げるだけの無駄なコストになり得る。精度とConfidenceの挙動が乖離する点にも注意が必要だ。現場では、まずベースラインの過学習状況を定量化することを推奨する。