【要約】Zoom の文字起こし・翻訳 AI を "Zoom 以外" で使う — Google Meet / Teams / YouTube、どんなサイトでもリアルタイム字幕＋翻訳 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がZoomのAI機能を外部サービスへ組み込もうとする際、仕様の不透明さから実装に難航する問題がある。具体的には以下の制約が障壁となる。
- ・認証がOAuthではなく、Build Platform独自のJWT署名が必要。
- ・音声データは生base64ではなく、data-URI形式が必須。
- ・翻訳ペアの片方が英語でなければならない制約がある。
- ・Manifest V3において、CORS回避の設定が不足しやすい。
// Approach
開発者は、OSSの翻訳アプリ「Sokuji」を用い、Zoom AI ServicesをREST APIとして統合した。以下の手法で制約を解決している。
- ・Silero VADで音声を区切り、WAV形式のdata-URIとして送信する。
- ・Web Crypto APIでAPI KeyからHS256形式のJWTを生成する。
- ・英語を介した非対称な言語マトリクスで翻訳制約を回避する。
- ・
host_permissionsにAPIドメインを追加し、CORSを突破する。
// Result
開発者は、Zoom以外のWebサイト上でも、ZoomのAIによる字幕・翻訳機能を実現した。得られた成果は以下の通りである。
- ・1発話あたり約2.0〜2.7秒の準リアルタイム処理を達成した。
- ・Scribeのコストは$0.0033/分と、実用的な水準であることを確認した。
- ・Google MeetやYouTube等、多様なサイトへの適用を実証した。
Senior Engineer Insight
> 本実装は、強力なAI資産をAPI経由で再利用する合理的な手法である。準リアルタイム性は、発話単位の処理としては実用圏内だ。ただし、翻訳ペアの英語制約や、Build Platform特有の認証フローなど、ドキュメント化が不十分な箇所が多い。実戦投入時には、これらの制約を吸収する抽象化レイヤーの設計が不可欠となる。