【要約】K-Meansのクラスタ数はどう決める？シルエット法で最適なKを見つける方法 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
データサイエンティストは、K-Meansクラスタリングを実行する前に、適切なクラスター数（K）を決定せねばならない。適切なKを選べない場合、以下のような問題が発生する。
- ・Kが少なすぎる場合：本来異なるグループが一つにまとめられる。
- ・Kが多すぎる場合：一つのグループが不自然に細分化され、解釈が困難になる。
- ・エルボー法の限界：減少幅からKを推測するエルボー法では、最適なKの判定が難しいケースが多い。
// Approach
各データ点が所属するクラスターへの適合度を「シルエットスコア」として算出し、多角的な指標で評価する手法を採用する。
- ・スコアの算出：凝集度（クラスター内の近さ）と分離度（他クラスターとの遠さ）を計算し、-1から1の範囲で数値化する。
- ・3つの指標による評価：
1.平均シルエットスコア：全体の品質を評価する主要指標。
2.最小シルエットスコア：外れ値や誤分類などの最悪ケースを検知する警告指標。
3.負のスコア割合：割り当ての不安定さや誤分類の発生率を確認する指標。
- ・実務的な決定フロー：スコア、安定性、解釈性、およびドメイン知識を組み合わせて最終的なKを判断する。
// Result
シルエット法を用いることで、クラスターの分離性と割り当ての安定性を定量的に把握できる。これにより、以下の成果が得られる。
- ・評価の高度化：エルボー法よりも解釈性が高く、明確な指標に基づいた比較が可能になる。
- ・ツールの活用：Exploratory（v15.5以降）等のツールにより、自動的な評価と可視化が容易になった。
- ・意思決定の支援：統計的指標とドメイン知識を組み合わせ、実務的に意味のある分割を選択できる。
Senior Engineer Insight
> シルエット法は、エルボー法より多角的な評価が可能で、実務の精度を高める。ただし、全点間の距離計算を伴うため、大規模データでは計算コストが課題となる。現場では、平均スコアだけでなく、負のスコア割合による「割り当ての不安定さ」を注視すべきだ。統計的指標とドメイン知識のバランスが、実用的なモデル構築の鍵となる。