【要約】オライリー本の表紙動物を1432匹、全部数えて分類してみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
著者は、オライリー本の表紙に描かれた動物の傾向や、技術分野との関連性に疑問を持った。具体的には以下の課題を解決しようとした。
- ・表紙の動物が何種類、何冊分存在するのか不明である。
- ・分野ごとに動物の傾向があるのか、統計的な裏付けがない。
- ・表紙のモチーフが編集上の意図に基づいているのか不明である。
// Approach
著者は、公式のインデックスページからデータを抽出し、統計的な手法を用いて分析を行った。具体的な手順は以下の通りである。
- ・curlを使用し、User-Agentを指定してAkamaiのアクセス制限を回避して全ページを取得した。
- ・Pythonの正規表現を用いて、HTML内のanimal-rowブロックから動物名と書籍タイトルの組を抽出した。
- ・動物名をキーワードベースで8つの生物学的グループに分類した。
- ・書籍タイトルから技術分野を判定し、観測件数と期待件数の比率を算出することで相関を分析した。
// Result
1432件のデータを分析した結果、分野と動物の間に明確な相関が見出された。主な成果は以下の通りである。
- ・Oracle関連書籍では、昆虫が期待値の3.65倍という高い頻度で出現した。
- ・Python関連書籍では、言語名に由来して爬虫類（ヘビ等）が採用される傾向を確認した。
- ・クラウド/DevOps分野では、俯瞰的なイメージを持つ猛禽類が目立つ傾向が見られた。
- ・セキュリティ分野では、動物ではなく人物モチーフが選ばれる傾向が判明した。
Senior Engineer Insight
> 本件は、データマイニングの基本プロセスを実戦的に示している。スクレイピングにおけるUser-Agentの適切な設定や、正規表現によるパース、統計的な相関分析の手順は、実務におけるデータ収集の定石である。単なる集計に留まらず、期待値との比率を用いて「偶然以上の頻度」を定義した点は、分析の妥当性を高める優れたアプローチである。ただし、分類精度がキーワード依存である点は、大規模分析における課題として留意すべきだ。