【要約】絡まった2つのリングは、k-meansには永遠に分けられない。「近さ」ではなく「つながり」で見る [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
従来の距離ベースのクラスタリング手法では、複雑な形状を持つデータの分離が困難である。研究者は、重心がほぼ一致し、鎖のように絡まった2つのリング状データを対象に、以下の技術的課題を検証した。この実験は、アルゴリズムの限界を明確にすることを目的としている。
- ・「中心からの距離」を基準とするk-meansが、非凸な形状を扱えるか。
- ・「データのつながり」を重視する手法が、ノイズに対してどう振る舞うか。
- ・手法ごとの「精度の劣化プロセス」にどのような違いがあるか。
// Approach
研究者は、4つの異なるアルゴリズムを用いて、ノイズレベルを変化させながら精度を測定した。実験者はARI（調整ランド指数）を指標とし、以下の手順で比較を行った。この比較により、各手法の数学的な特性と実用上の挙動を明らかにする。
- ・k-means、GMM、スペクトラル、DBSCANの4手法を適用。
- ・ノイズの標準偏差を0.02から0.30まで段階的に増加。
- ・スペクトラルクラスタリングにおけるラプラシアン固有ベクトルの挙動を解析。
- ・ノイズ増加に伴うARIの変化を定量的に比較。
// Result
手法の特性により、精度が低下する挙動（壊れ方）が明確に分かった。実験の結果、以下の知見が得られた。この知見は、適切なアルゴリズム選定の指針となる。
- ・スペクトラルとDBSCANは、低ノイズで完璧だが、ある閾値で急激に崩壊する。
- ・GMMは、精度は劣るが、ノイズに対して緩やかに劣化する。
- ・k-meansは、形状を表現できず、常に極めて低い精度に留まる。
- ・スペクトラルの弱点は、低ノイズ下でもグラフの誤接続により失敗する場合がある。
Senior Engineer Insight
> 実運用では精度のみならず「壊れ方の性格」を考慮すべきだ。スペクトラルは高精度だが、グラフ構築の失敗で急激に崩壊する。一方、GMMは精度は劣るが緩やかに劣化する。システムの要求が「正確な分離」か「緩やかな性能低下」かによって、採用すべき流派は変わる。データの性質と、失敗時のリスク許容度を天秤にかける視点が不可欠だ。