【要約】MediaPipeでムービングライトを動かしてみる [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者は、購入したムービングライトを直感的に操作する手法を模索していた。従来の物理的な操作デバイスではなく、身体の動きを用いた新しいインターフェースの実現が課題であった。
- ・顔の向きや手の動きを、DMX信号という規格に適合する数値へ変換する必要がある。
- ・複雑な照明制御（Pan/Tilt、色、明るさ）を、直感的なジェスチャーにマッピングしなければならない。
// Approach
開発者は、MediaPipeによるトラッキングとTouchDesignerによる信号処理を組み合わせた。Webカメラから得られる視覚情報を、DMX制御用の数値へと変換する仕組みを構築した。
- ・MediaPipeの姿勢変換行列から、顔のyaw、pitch、rollを算出。
- ・手の「つまむ」「指を広げて回す」といった動作を数値化。
- ・算出値を、LM70の9チャンネルモードに合わせたDMX信号へマッピング。
// Result
開発者は、身体動作によってムービングライトを自在に操るプロトタイプを完成させた。これにより、カメラ映像を用いた直感的な照明操作が可能となった。
- ・顔の向きによるPan/Tilt（540度/270度）の制御を実現。
- ・手のジェスチャーによる色相、彩度、明るさ、ストロボの操作を実現。
- ・特定の動作（素早い開閉）による色相・彩度のランダム変更を実現。
Senior Engineer Insight
> センサー入力から出力までの低レイテンシな実装が求められる領域である。MediaPipeの推論精度と、DMX通信の安定性がシステムの信頼性を左右する。実用化には、意図しない動きを抑制するフィルタリング処理や、操作範囲のキャリブレーション機能の追加が必須となる。