【要約】360° 全天球画像を用いた 3D Gaussian Splatting 入門（360° Gaussian Pro 編） [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
3DGSを用いた空間スキャンを行う制作者は、SfMの精度確保や、不要な動体の除去、解像度不足によるディテールの欠如という課題に直面していた。
- ・SfMツールの選定やパラメータ設定が複雑で、高度な専門知識を要する。
- ・動く被写体や低テクスチャ領域がノイズとなり、カメラ位置推定の精度を低下させる。
- ・360°画像のみでは、風景内の文字や細かな模様の再現が困難である。
// Approach
開発者は「360° Gaussian Pro」により、画像の切り出しからSfM、点群生成までの工程を統合・自動化した。
- ・COLMAPやGLOMAPを採用し、カメラアライメントの精度と速度を向上させた。
- ・SAM3を用いたセマンティック・マスキングにより、動体や不要なオブジェクトを自動除去する。
- ・スマホ等で撮影した高画素写真をSfMに混在させ、局所的なディテールを補完する。
- ・DualFisheye形式や一般的な動画ファイルへの対応を拡大した。
// Result
本ツールの導入により、制作者は高品質な3DGSモデルを効率的に生成できるようになった。
- ・SfMの精度向上により、3DGSの出力品質が改善した。
- ・GLOMAPの導入等により、従来の処理と比較して大幅な高速化を実現した。
- ・マスキング機能により、動体によるノイズを抑えた安定した学習が可能になった。
- ・詳細写真の追加により、360°画像単体では不可能な高精細な再現が可能になった。
Senior Engineer Insight
> 3DGSのパイプラインを「撮影・SfM・学習」の各工程で最適化するアプローチは極めて実戦的だ。特にSAM3による自動マスキングと、高画素写真の混在によるディテール補完は、現場の「品質と手間のトレードオフ」に対する明確な回答と言える。149ユーロというコストは、Metashape等の既存ツールと比較しても妥当であり、XRコンテンツ制作の現場における標準的なワークフローになり得るポテンシャルを持っている。