【要約】Ubuntu 22.04にWhisperXを導入して文字起こし環境を作った記録 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
筆者が、ローカルのUbuntu環境で音声文字起こしを行おうとした際、GPUのリソース不足という課題に直面した。限られたメモリ内で、いかに精度と安定性を両立させるかが焦点となった。
- ・GPUのVRAMが4GB（GTX 1650）と極めて少ない。
- ・高精度な
large-v3モデルは、量子化してもメモリ不足で動作しない。 - ・
mediumモデルをfloat16で実行すると、長尺音声でOOM（メモリ不足）が発生する。
// Approach
筆者は、限られたVRAM容量内で動作の安定性と処理速度を両立させるため、モデルサイズと計算精度の最適化を行った。計算負荷を抑えつつ、完走を最優先する構成を選択した。
- ・モデルを
large-v3からmediumへダウングレード。 - ・計算精度を
float16からint8（8bit整数量子化）へ変更。 - ・
CTranslate2を利用し、メモリ消費量を最小化。 - ・
python venvを用いて、システム環境から分離したクリーンな環境を構築。
// Result
筆者は、低スペックなGPU環境においても、実用的な速度で文字起こしを完走させることに成功した。リソース制約下での最適なパラメータセットを特定した。
- ・
mediumモデルとint8の組み合わせにより、60分の音声を約10分で処理。 - ・実時間の約6倍速という実用的なスループットを達成。
- ・長尺の音声ファイルでも、OOMを起こさず安定して動作を確認。
Senior Engineer Insight
> 本記事は、エッジ環境でのAIモデル運用における「精度とリソースのトレードオフ」を実証している。VRAM 4GBという制約下では、モデルの選択だけでなく、量子化（int8）の適用が運用安定性の鍵となる。特に、
float16ではバッチサイズを絞っても長尺音声でOOMが発生する点は、推論時のメモリピークを考慮した設計の重要性を示唆している。実戦投入時は、単なるモデルの選定に留まらず、量子化による精度低下とメモリ消費の相関を定量的に評価すべきである。