Webカメラだけで物理マウスを捨てる - NonMouseをM2 Mac + Python 3.14で再起動して自分用にチューニングした話

> Source: Zenn_Python

// Problem

Apple Silicon環境における依存関係の不整合、MediaPipeのAPI変更に伴う実装の破綻が課題であった。また、従来のジェスチャによるクリック判定は誤検出が極めて多く、さらにカメラ座標からスクリーン座標へのマッピングにおける遅延、ジッター、画面端での挙動不審といった、実用を妨げる物理的な操作性の欠如が大きなペインポイントであった。

// Approach

依存関係を最小下限指定に刷新し、GUIをTUIへ置き換えて環境依存を排除。操作体系をジェスチャからキー押下トグル方式へ変更した。さらに、相対移動アンカー方式、非線形加速カーブ、軸別・方向別ゲイン、画面端スナップ、および4段階のノイズフィルタを導入することで、実測値に基づく数学的な補正による操作感の最適化を図った。

// Result

ブラウジングやコーディングといった日常的な作業において、物理マウスなしでの運用を可能にした。一方で、精密なドラッグ操作や長時間の腕の疲労といった課題も明確化されており、用途に応じた物理デバイスとの使い分けが現実的な解として示されている。

Senior Engineer Insight

> 本記事の価値は、単なるOSSの移植ではなく、実用化における「ノイズ（誤検出・遅延・ジッター）」を数学的・工学的に徹底して排除したプロセスにある。特に、HUDを用いた実測値に基づくゲイン調整は、感覚的な実装を排した極めて実践的なアプローチだ。ただし、本件は個人の環境に特化した「パーソナルハック」であり、スケーラビリティや再現性には欠ける。システム開発の現場においては、こうした「環境への適応」と「ユーザー体験の最適化」のトレードオフをどう管理するかが重要となる。