【要約】BatchNormの位置、5シードで再検証したら差が2倍近くに広がった話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者がCNNの学習において、BatchNormの配置（Conv→BN→ReLU vs Conv→ReLU→BN）を比較した際、単一シードの結果のみで判断してしまうリスクに直面した。単一の試行では、初期値による精度のブレを過小評価する恐れがある。
- ・定石とされる構成が、特定のシード条件下では期待通りの性能を出さない可能性。
- ・単一の試行結果では、初期値による精度のブレ（分散）を過小評価してしまう問題。
- ・「定石」が必ずしも最適解ではないという、実験結果の解釈における不確実性。
// Approach
筆者は、単一シードによる実験結果の妥当性を検証するため、統計的なアプローチを用いた再検証を実施した。偶然の偏りを除去し、構成間の真の差を測定することを目指した。
- ・5つの異なるシード（42, 123, 456, 789, 2024）を用いて実験を再実行。
- ・平均値の差だけでなく、標準偏差を用いた精度のばらつきを算出。
- ・対応のあるt検定を行い、結果の統計的有意性を確認。
// Result
再検証の結果、Conv→ReLU→BNが精度・安定性の両面で圧倒的な優位性を持つことが判明した。単一シードの時よりも、構成間の性能差が明確に拡大した。
- ・平均精度の差が+5.0ptから+8.90ptへと拡大。
- ・Conv→ReLU→BNの標準偏差は0.64ptと極めて低く、学習の安定性が向上。
- ・t検定により、p=0.0203で5%水準の統計的有意性を確認。
Senior Engineer Insight
> 深層学習の実験において、単一シードの結果を鵜呑みにすることの危うさを突いた良質な検証事例だ。精度（平均）だけでなく分散（安定性）を評価対象に含める重要性は、実務におけるモデルの信頼性担保において極めて高い。定石を疑う姿勢と、それを統計的に裏付けるプロセスは、エンジニアが備えるべき必須のスキルである。