【要約】MediaPipeとPythonで実装する顔面ランドマーク幾何学解析：2D座標から骨格比率ベクトルを算出する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
ユーザーが顔の幾何学的指標を測定しようとする際、撮影環境やデバイスの特性に起因する誤差に直面する。単眼の2D画像を用いるため、以下の物理的な制約が測定精度を低下させる。
- ・広角レンズによる透視歪み：近距離撮影時に中顔面が拡大される。
- ・上下のチルトによる圧縮：顔の向きにより垂直方向の比率が変化する。
- ・3D情報の欠如：単眼では奥行きを正確に補正できない。
// Approach
開発者は、MediaPipeとNumPyを用いて、幾何学的な正規化を行うパイプラインを構築する。以下の4ステップで、座標の取得から特徴量の算出までを行う。
1.MediaPipe Face Meshによる468点の座標取得。
2.アフィン変換を用いた瞳孔間軸による水平補正。
3.瞳孔間距離（IPD）を基準とした距離スケールの標準化。
4.NumPyによる目の傾斜角や顔面比率の計算。
// Result
開発者は、この手法を用いることで、短期間で高精度な特徴量抽出機能を実装できる。100行程度のコードで、デバイスに依存しないスケール不変な特徴量を得られる。
- ・実装コストの低減：MediaPipeとNumPyの組み合わせによる迅速な開発。
- ・精度の限界の把握：光学的な歪みや角度の影響を定量的に理解できる。
- ・プライバシー設計の指針：WASMを用いたクライアントサイド推論の有効性。
Senior Engineer Insight
> 実装は容易だが、2D画像特有の「光学的な限界」を無視できない。商用展開では、カメラの焦点距離や撮影角度による誤差をどう吸収するかが鍵となる。プライバシー保護の観点から、サーバーに画像を投げず、WASM等でクライアントサイド完結させる設計が、運用コストと信頼性の両面で極めて合理的である。