【要約】ブラックボックスじゃないAIを作ろうとしたら、LLMの「ブレ」の正体が想定と違っていた話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、説明可能なAIを作るためLLMで単語の属性辞書を自動生成しようとした。しかし、品質管理手法が誤った判断を下す問題に直面した。LLMの出力の揺らぎを「語の多義性（難しさ）」と解釈していたが、実際には測定対象がズレていた。
- ・LLMの出力の揺らぎを「語の多義性」と誤認。
- ・分散を用いた信頼度評価において、多くの語が「保留」判定される。
- ・「ブレ＝判定が難しい語」という誤った仮説に基づき、辞書の品質を誤認するリスク。
// Approach
開発者は、保留データの生データを精査し、原因を特定した。統計的な揺らぎなら発生箇所はランダムになるはずだが、観測されたブレは特定の回数に集中していた。この偏りから、モデルの確率的な挙動以外の要因を疑った。
- ・生データの集計により、ブレが「1回目」に集中していることを発見。
- ・推論エンジン（Ollama）のプロンプトキャッシュによる実行状態の差を原因と特定。
- ・1回目を「ウォームアップ」として捨て、2回目以降の回答で分散を計算する手法を採用。
// Result
この対策により、辞書の信頼性と精度が向上した。1回目を捨てるという極めてシンプルな変更だけで、保留されていた語の大部分を救済できた。これにより、辞書の品質管理が正しく機能するようになった。
- ・保留語の96%（132語中121語）が、再推論なしで基準をクリア。
- ・正解既知のテストセットを用いた検証で、全体正解率95.0%を達成。
- ・処理時間は33%増加したが、測定の正確性が確保された。
Senior Engineer Insight
> LLMの評価において「統計的な揺らぎ」と「システム的な状態変化」を混同するリスクを浮き彫りにした。プロンプトキャッシュのようなインフラ層の挙動が、モデルの性能評価を歪める可能性がある。実戦では、温度パラメータの調整だけでなく、実行順序によるバイアスを排除する設計が不可欠である。