【要約】ナレーションに動画を合わせました ― VOICEVOXのaudio_queryで、耳で測る工程と文字起こしAIが消えました [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者がAIナレーション付き動画を制作する際、映像と音声のタイミングが一致しない問題に直面した。映像を先に作り、後から音を乗せる工程では、視覚効果と発話の同期が極めて困難である。
- ・動画の切り抜きにより、相対的な秒数が変動し、管理が複雑化する。
- ・カード出現等の視覚効果と、発話タイミングが目分量でズレる。
- ・耳で聞きながらストップウォッチで測る作業は、非効率で主観的である。
- ・一度ズレると、映像の作り直しや読み直しが発生し、工数が増大する。
// Approach
筆者はVOICEVOXの
/audio_query APIを用い、音声合成の前に発話タイミングを数値化する手法を採用した。これにより、耳に頼らない決定論的な同期が可能となる。- ・APIから取得したアクセント句やモーラの長さを積算する。
- ・
prePhonemeLength等を含めた計算式で、各句の開始秒を算出する。 - ・算出した秒数を映像制御用の設定ファイルや字幕定義に直接書き込む。
- ・このプロセスにより、音声のタイミングを基準とした映像編集が可能になる。
// Result
筆者は耳による微調整を排除し、極めて精度の高い動画同期を実現した。この手法により、音声のタイミングを正とした制作フローが確立された。
- ・計算上の合計秒数と実測のWAVファイルとの差を0.024秒以内に抑えた。
- ・文字起こしAIを使わず、原稿と計算値のみで正確な字幕を生成した。
- ・映像の作り直しを最小限に抑え、制作の再現性を大幅に向上させた。
- ・動画編集ソフトの種類を問わず、数値ベースでの同期が可能になった。
Senior Engineer Insight
> 本手法は、動画制作を「感性」から「決定論的なエンジニアリング」へ移行させる。音声合成のメタデータを活用することで、制作パイプラインの自動化と再現性が向上する。実戦投入では、この積算ロジックをライブラリ化し、編集ツールと連携させることが重要だ。