【要約】STTの測り方 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
nocall株式会社の開発者は、営業電話の自動化AIにおいて、従来のSTT評価では実運用上の致命的な問題を見逃す課題に直面した。単に文字起こしが「だいたい合っている」という評価では、以下の問題に対処できない。
- ・固有名詞や日時の誤認識が、アポイントミスなどの実害を招く。
- ・無音や環境音から「はい」等の発話が生成され、会話状態を壊す。
- ・確定結果の遅延が、リアルタイムな会話のテンポを損なう。
- ・低音量や周囲の雑音によって、認識精度が著しく低下する。
// Approach
開発チームは、営業電話の特性を反映したベンチマークツール stt_eval を構築し、多角的な評価フローを導入した。実運用に近い環境を再現するため、以下の手法を採用している。
- ・Twilio相当の8kHz μ-law音声を用いた、実戦的なデータセットを作成。
- ・CERに加え、重要語の欠落率（KEY）を算出し、業務影響を可視化。
- ・初動速度を測るため、First Output Latencyを計測。
- ・ノイズ由来の誤検知を捉えるため、正規化前のFAKE_WORDSを指標化。
- ・低音量や環境音など、カテゴリ別の集計を実施。
// Result
この手法により、開発者は単なる平均精度ではなく、業務への影響度に基づいたモデル選定が可能になった。評価を通じて以下の成果が得られる。
- ・重要語の欠落（KEY）やノイズ誤検知（FAKE_WORDS）を定量的に把握。
- ・速度と精度のトレードオフを、実運用に近い条件で評価。
- ・エラーが発生したサンプルも評価に含め、モデルの安定性を検証。
- ・コストと精度のバランスを考慮した、現実的な選定基準を確立。
Senior Engineer Insight
> リアルタイム音声対話において、STTは単なる変換器ではなく、会話制御のトリガーである。CERの最適化に固執すると、Latencyの悪化や、ノイズによる「偽の相槌」を見逃すリスクがある。実戦では、業務に致命的な影響を与える「重要語の欠落」と「ノイズ誤検知」を最小化する制約付き最適化が不可欠だ。精度、速度、コストのバランスを、業務要件に基づいて定義すべきである。