【要約】RVMとMatAnyone2のVideo Matting halo は「撮影由来」か「コード由来」か切り分けた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
Video Mattingの工程において、開発者は切り抜き後の輪郭に緑の縁（halo）が残る問題に直面する。この現象がモデルの学習バイアスによるものか、撮影環境に起因するものかの判断が困難である。
- ・輪郭に緑の縁が残る現象の発生。
- ・原因がモデルの学習バイアスか、撮影時の反射（green spill）か不明。
- ・MatAnyone 2において、背景色に関わらず緑が乗る現象の発生。
// Approach
筆者は、原因が物理現象かコードの仕様かを切り分けるため、定量的な指標を用いた比較検証を行った。緑背景と自然背景の2条件で、輪郭付近の色の差分を測定する手法を採用した。
- ・指標 $\Delta G = G - (R+B)/2$ を定義。
- ・RVMとMatAnyone 2をMac M2環境で実行。
- ・緑背景動画と自然背景動画を用いた比較実験。
- ・各モデルの推論コードにおけるforeground生成ロジックの解析。
// Result
検証の結果、両モデルのhaloの原因はモデルの学習バイアスではないことが判明した。原因の所在を特定し、具体的な修正方法を提示した。
- ・RVM: 撮影時のgreen spill（物理現象）が原因。自然背景では解消する。
- ・MatAnyone 2: 推論スクリプトによる特定色の塗り（コード由来）が原因。
- ・対策: MatAnyone 2の塗り色変更と、共通のalpha-gated despillの適用。
- ・結論: 素材化用途では、RVMの方がクリーンな出力が可能。
Senior Engineer Insight
> モデルの性能評価において、推論スクリプトの仕様が最終的な品質を左右することを再認識させる。特にMatAnyone 2のように、透明領域に特定の色を塗る実装は、素材化の際に致命的なノイズとなる。実運用では、モデルの精度だけでなく、後処理（despill）の組み込みや、推論パイプライン全体の仕様を精査すべきである。定量的な指標を用いた、物理現象とコードの切り分けは、トラブルシューティングにおいて極めて有効なアプローチである。