【要約】ローカルLLMでハルシネーションを見抜く [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
生成AIを実務、特に顧客対応などの重要業務に導入する際、もっともらしい嘘を生成するハルシネーションが大きなリスクとなる。誤った情報が顧客に届くことは、企業の信用失墜に直結する深刻な問題である。
具体的には、以下の技術的課題が存在する。
具体的には、以下の技術的課題が存在する。
- ・全文一括検証の限界：LLMに文書全体を一度に検証させると、細部を見逃し、全体の整合性だけで判断してしまう。
- ・検出精度の不足：チェックすべき観点が曖昧な場合、数値や曜日といった特定の誤情報を検出しきれない。
- ・機密保持の制約：顧客データ等の機密情報を扱うため、外部のクラウドAPIに依存できないケースが多い。
// Approach
ハルシネーションの検出精度を劇的に向上させるため、検証プロセスを細分化し、モデルの推論能力を制御する3つの手法を採用した。
具体的なアプローチは以下の通りである。
具体的なアプローチは以下の通りである。
- ・1文ずつの検証：Python側で文書を1文ずつに分割し、各文を個別に事実と照合することで、見逃しを防ぐ。
- ・CoT（Chain of Thought）の活用：Ollamaの
think=True機能を使い、結論を出す前にモデルに内部的な推論を行わせる。 - ・チェック観点の設計：人間が「日付」「数値」「因果関係」などの観点をリスト化し、プロンプトに明示的に組み込む。
// Result
提案手法を用いることで、従来の「全文一括検証」では検出できなかったハルシネーションを網羅的に特定することに成功した。具体的には、不具合報告メールの検証において、以下の成果を得ている。
- ・検出漏れの解消：素朴な手法では2件しか検出できなかった誤情報に対し、提案手法では5件すべて（曜日、因果関係、数値、矛盾、補償）を検出した。
- ・構造化データの取得：Pydanticを用いることで、検出した誤情報とその理由をプログラムで扱いやすい形式で取得できる。
Senior Engineer Insight
> 実務投入の観点では、ローカルLLMの採用は機密保持の観点から極めて合理的である。ただし、1文ずつの逐次処理は計算コストとレイテンシを増大させるため、リアルタイム応答が求められる用途には不向きだ。バッチ処理や非同期のバックグラウンドタスクとして組み込む設計が現実的である。また、LLMによる検証はあくまで「一次フィルタ」であり、最終的な判断を人間に委ねるワークフローを前提としたシステム設計が不可欠である。