【要約】全データ分析者驚愕！20代が多いほど売れる、でも20代は買ってない。って、どゆこと？ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
[WARN: Partial Data] 本記事はシリーズの導入部であり、具体的な手法については次回以降に続く構成となっているため。
// Problem
データサイエンティストが、集計データのみで分析を行う際に、誤った結論を導くリスクがある。
- ・コストやプライバシーにより、個人単位のデータ結合（JOIN）が困難な場合がある。
- ・集計値（周辺分布）からは、個人の行動（同時分布）を特定できない。
- ・集団の相関を個人の特性と誤認する「生態学的誤謬」が発生する。
// Approach
政治学の「エコロジー推論」を用い、集計データから個人の行動を復元する数学的手法を検討する。
- ・観測単位（時間帯）と推論単位（個人）の乖離を明確にする。
- ・周辺分布から同時分布を推定する問題として構造化する。
- ・回帰分析の結果を個人レベルの解釈に読み替えないよう注意を促す。
// Result
集計データを用いた回帰分析が、必ずしも個人の購買率を正しく示さないことをシミュレーションで示した。
- ・「20代が多い時間帯ほど売れる」ことと「20代のCVRが高い」ことは別問題であると証明した。
- ・データ量を増やしても、観測単位の誤りは解消されないことを明示した。
- ・次回の具体的な推論手法の紹介に向けた理論的基盤を構築した。
Senior Engineer Insight
> 現場では、個票データの取得コストと分析精度のトレードオフが常に存在する。回帰分析の統計的有意性に惑わされてはならない。重要なのは、観測単位と推論単位の整合性である。数学的な構造を理解すれば、ドメインを跨いだ問題解決が可能になる。