【要約】Conv2DのpaddingをsameとvalidにしたらGAPが差を消した話【Keras×CIFAR-10】 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
- ・padding選択に伴う精度と計算コストのトレードオフ。
- ・validによる特徴マップ縮小が精度に与える影響。
- ・Flatten使用時、特徴マップのサイズがDense層のパラメータ数に直結する問題。
// Approach
1.KerasでsameとvalidのConv2Dモデルを構築。
2.出力層の直前にGlobalAveragePooling2Dを配置。
3.CIFAR-10を用いて精度、パラメータ数、学習時間を計測。
// Result
- ・精度差は0.65%（same 66.91% vs valid 66.26%）と僅差。
- ・パラメータ数はGAPにより両者で同一。
- ・学習時間はvalidが約14%（21秒）高速。
Senior Engineer Insight
> GAP採用モデルなら、計算効率重視でvalidを選択する合理性がある。
学習時間の14%削減は、大規模訓練において極めて重要だ。
ただし、Flattenを用いる構成には注意が必要。
validによるサイズ縮小が、Dense層のパラメータ増大を招く。
アーキテクチャの設計思想に基づいた選択が不可欠だ。
学習時間の14%削減は、大規模訓練において極めて重要だ。
ただし、Flattenを用いる構成には注意が必要。
validによるサイズ縮小が、Dense層のパラメータ増大を招く。
アーキテクチャの設計思想に基づいた選択が不可欠だ。