【要約】Whisperの精度改善、5施策を実測したら3つ棄却になった話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、自作の音声入力アプリにおいて技術用語の誤認識を解消したいという課題に直面した。
- 技術用語がカタカナ表記になる等の誤変換が発生する。
- 精度改善の判断が「体感」に依存し、客観的な評価が困難であった。
- 既存の改善手法が、実際の利用環境（CPU）で期待通りの性能を出さない。
- 技術用語がカタカナ表記になる等の誤変換が発生する。
- 精度改善の判断が「体感」に依存し、客観的な評価が困難であった。
- 既存の改善手法が、実際の利用環境（CPU）で期待通りの性能を出さない。
// Approach
開発者は、勘に頼らない意思決定を行うため、まず自動でテストセットを生成する評価基盤を構築した。
- 音声、認識結果、修正ログを突合し、正解ペアを自動蓄積。
- 文字ベースの一致率を用いて、相対的な精度を測定。
- 誤認識の自動修正ではなく、低信頼度の単語をハイライトして人間に判断させる手法を採用。
- トークナイザの特殊トークンによる計算誤差を修正。
- 音声、認識結果、修正ログを突合し、正解ペアを自動蓄積。
- 文字ベースの一致率を用いて、相対的な精度を測定。
- 誤認識の自動修正ではなく、低信頼度の単語をハイライトして人間に判断させる手法を採用。
- トークナイザの特殊トークンによる計算誤差を修正。
// Result
実測に基づき、期待した施策の多くを棄却し、実用的な2つの施策を採用した。
- 語彙注入やVAD分割は、精度低下や処理遅延を招くため棄却。
- 単語の信頼度によるハイライト機能が、低コストかつ実用的な精度で採用。
- トークナイザのバグ修正により、promptの利用効率が大幅に改善。
- 語彙注入やVAD分割は、精度低下や処理遅延を招くため棄却。
- 単語の信頼度によるハイライト機能が、低コストかつ実用的な精度で採用。
- トークナイザのバグ修正により、promptの利用効率が大幅に改善。
Senior Engineer Insight
> 評価基盤の構築が、開発の成否を分ける。特に「判別」と「探索」の難易度差や、実行環境の差異を見落とすと、致命的な判断ミスを招く。自動化の前に、人間が介在する「提示」に留める設計は、実用的なシステム開発において合理的である。