【要約】A/Bテストで失敗しない統計設計：p値の罠・サンプルサイズ計算・多重比較を徹底解説 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
データサイエンティストやマーケターが、A/Bテストの結果を誤って解釈し、効果のない施策を展開してしまう問題に直面している。不適切な設計は、科学的な根拠に基づいているようでいて、実際には偶然の結果を拾い上げるリスクを孕んでいる。
- ・サンプルサイズを事前に決めず、不十分なデータで判断することによる第一種過誤の発生。
- ・テストの途中経過を頻繁に確認する「ピーキング」による、偽陽性率の劇的な増大。
- ・複数の指標を同時に検定することで、偶然の有意差を拾ってしまう多重比較問題。
// Approach
統計的な信頼性を確保するため、テスト実施前に設計を固めるアプローチを推奨している。場当たり的な判断を排除し、事前に定義したルールに従って検定を行うことが重要である。
- ・
scipy.statsを用いた事前サンプルサイズの計算と、その値の固定。 - ・ピーキング回避のため、サンプルサイズ到達まで判断を保留するか、逐次検定を採用する。
- ・多重比較対策として、主指標を1つに絞る、またはBonferroni補正やBenjamini-Hochberg法を適用する。
// Result
正しい統計設計を導入することで、意思決定の精度が向上し、以下の定量的な改善が見込める。
- ・ピーキングによる偽陽性率の跳ね上がり（5%から20%前後）を抑制できる。
- ・多重比較による誤検出率の増大（5指標検定で22.6%）を、主指標の絞り込み等で防げる。
- ・「有意差が出たが改善しなかった」という、現場で頻発する施策の失敗を最小化できる。
Senior Engineer Insight
> 現場では「早く結果が欲しい」という圧力から、ピーキングや多重比較の罠に陥りやすい。しかし、誤った施策展開はリソースの浪費と機会損失を招く。技術責任者としては、単なる検定の実行ではなく、テスト前の「設計（MDEの設定や主指標の決定）」をプロセスとして強制すべきだ。統計的厳密さとビジネススピードのバランスを、逐次検定などの高度な手法で解決する仕組み作りが求められる。