【要約】【Agentic AI 検証】知識層は本当に再利用できるのか [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
LLMエージェントの開発者は、タスクごとに知識をゼロから構築する膨大な工数に直面している。研究では知識層の再利用が示唆されているが、実務ドメインでの有効性は未検証であった。モデル能力と知識層の品質のどちらに投資すべきか、明確な指針が求められていた。
- ・開発工数の削減可能性の不明確さ。
- ・知識層の注入による性能劣化（負の転移）への懸念。
- ・モデル能力と知識層の品質の優先順位の欠如。
// Approach
検証者は、NDA（秘密保持契約）のNG条項検出と修正を題材に、知識層の再利用性を実測した。ローカルLLMとクラウド強モデルを用い、知識層の有無や品質による性能差を比較した。
- ・T1（検出）で構築した辞書をT2（修正）へ注入する「reuse」手法の採用。
- ・「zerobase（辞書なし）」との対照比較による優位性の測定。
- ・人手作成辞書とクラウドLLM作成辞書を用いた品質比較。
- ・ローカルLLMにクラウド製辞書を適用し、モデルの天井を突破できるかの検証。
// Result
検証の結果、モデル能力が知識層の品質を凌駕する非対称性が判明した。知識層は弱モデルの性能を劇的に底上げするが、強モデルでは追加価値が限定的である。
- ・弱モデルでは知識層により性能が+0.212向上。
- ・強モデルでは追加価値が+0.074に留まる。
- ・高品質な辞書を用いても、弱モデルの性能天井は突破できない（reuse +0.000）。
- ・真の負の転移は観測されず、知識層の導入は安全である。
Senior Engineer Insight
> モデルの選択が投資戦略を決定する。ローカルLLM運用なら、ドメイン辞書の構築は性能救済のために必須だ。一方、クラウド強モデル運用なら、辞書に固執せずプロンプトや評価器の改善にリソースを割くべきだ。知識層の品質でモデルの限界は超えられないという非対称性を理解せよ。