【要約】Audio AIは「聴く」時代へ。ローカルで動くLALMsをまとめて比較できるOSS「LALMsArena」を作った [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
従来の音声認識（ASR）とLLMを組み合わせる2段構成では、以下の課題がある。
- ・感情、声のトーン、背景音などの音響情報がテキスト化で消失する。
- ・急速に登場する多様なLALMsに対し、同一条件下で性能を比較する手段が不足している。
// Approach
以下の設計により、モデルの比較環境を構築した。
1.モデルを独立したDockerコンテナに封じ込め、依存関係の衝突を防止。
2.各モデルをFastAPIエンドポイントとして実装し、HTTP通信で制御。
3.Streamlit UIにより、同一ファイル・プロンプトのサイドバイサイド比較を実現。
4.オーディオファイルをmultipart/form-data形式で各コンテナへ送信。
// Result
MOSS-Audio-8B-Thinking等の高性能モデルから、VRAM 11GBで動く小型モデルまで幅広くサポート。検証の結果、モデルごとに音響理解の粒度やハルシネーション（例：セミをカラスと誤認）の傾向が異なることが判明した。今後は対応モデルの拡充を予定している。
Senior Engineer Insight
>
モデルをコンテナ分離する設計は、依存関係が複雑なAI開発において極めて合理的である。VRAM消費量がモデルにより大きく異なるため、リソース管理が運用の鍵となる。実戦投入時は、単なる精度だけでなく、ハルシネーションの発生率や推論レイテンシを含めた多角的な評価が不可欠である。モデル選定の検証基盤として非常に価値が高い。