【要約】【LLM-as-a-Judge】少量のデータでジャッジを人手評価に近づける手法を比較する [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
AI開発者がLLMの出力品質を自動評価しようとする際、評価モデルが人間の判断と乖離する問題に直面する。具体的には以下の課題がある。
- ・位置バイアスや冗長性バイアスなどの系統的なズレが発生する。
- ・実務で利用可能な人手による評価ラベルは、数十件程度と極めて少ない。
- ・限られたラベルで、いかに効率的にジャッジを人間に近づけるかの最適解が不明確である。
// Approach
著者らは、利用可能な人手ラベルの数に応じて、8つの異なるアラインメント手法を実装し、その有効性を比較した。アプローチは以下の通りである。
- ・ラベル0件：Zero-shot、人手によるルーブリック、LLMによるルーブリック自動生成。
- ・ラベル10件以上：Few-shot（ランダムおよび多様性選択）、評価基準の校正、プロンプト最適化（MIPROv2、GEPA）。
- ・検証環境：SummEval（要約）とRAGTruth（ハルシネーション）の2データセットを使用。
// Result
実験の結果、タスクの性質によって最適な手法が異なることが判明した。誰にとってどのような成果があったのかを以下に記す。
- ・要約タスク（主観的評価）：評価基準の校正（⑥）が最も高い相関を示した。ラベル10件で専門家レベルに迫る精度を実現した。
- ・ハルシネーション検知（客観的評価）：人手によるルーブリック（②）が最も強力であった。定義が明確ならラベルは不要である。
- ・共通の知見：実データを見ない基準作りは、スコアの偏りを招くリスクがある。
Senior Engineer Insight
> 実戦投入の観点では、タスクの性質を見極めることが最優先だ。RAG等の客観的タスクは、Few-shotに頼るより評価基準の定義にリソースを割け。要約等の主観的タスクは、少量のラベルを用いた基準校正が極めて実用的だ。ただし、評価指標（κなど）がラベルの分布に強く依存する性質を理解しておかないと、誤った最適化に陥るリスクがある。評価の「精度」だけでなく、評価指標自体の「妥当性」を常に疑うべきだ。