【要約】論文を読むAIの精度を90%に引き上げた — AI for Scienceのための知識グラフRAGシステム開発記 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
研究者が膨大な論文から知見を統合し、新たな仮説を生み出すプロセスにおいて、従来のRAGでは解決できない課題が存在する。具体的には、以下の問題に直面している。
- ・マルチホップ推論の限界：単一のテキストチャンク検索では、複数の論文にまたがる推論チェーンが途切れる。
- ・エンティティの同一性：表記ゆれにより、同一の概念が別個のエンティティとして扱われる。
- ・矛盾する事実の検出：異なる論文間で報告される数値や条件の差分を把握できない。
- ・多言語の分断：日本語論文の知見が英語のコーパスと統合されない。
// Approach
論文の主張を検証し、実用性を高めるために、MemGraphRAGのアーキテクチャをベースとした独自実装「aira-synapse」を構築した。以下の手法を用いて精度と速度を改善している。
- ・三層グローバルメモリの採用：Ontology、Fact、Passageの階層で知識を管理する。
- ・グラフDBへの移行：SQLiteによるJOIN検索から、LadybugDBによるネイティブなグラフ走査へ変更し、PPRの速度を4倍に向上させた。
- ・インデックス時の辞書活用：検索時ではなく、インデックス構築フェーズで専門用語の正規化を行う。
- ・評価ロジックの高度化：スペルゆれや同義語を考慮した、実態に即した評価関数を実装した。
// Result
開発したシステムは、研究ワークフローの劇的な効率化と、ベンチマークにおける圧倒的な精度向上を達成した。
- ・HotpotQA精度：論文の公式実装（71.6%）を18.4%上回る90.0%を記録した。
- ・検索パフォーマンス：LadybugDBの導入により、PPRの全反復時間を約200msから50msへ短縮した。
- ・エージェント統合：MCPサーバーとして動作し、Claude Desktop等の既存ツールから直接論文知識を参照可能にした。
Senior Engineer Insight
> 本件の教訓は、高度なアルゴリズムの追求よりも、データの網羅性とインフラの最適化が精度に直結するという点だ。コーパスカバレッジの確保だけで精度が29.2%向上しており、これは実務における鉄則と言える。また、RDBでのグラフ探索の再発明を避け、LadybugDBのような専用DBを採用した判断も、レイテンシの観点から極めて正しい。さらに、辞書情報の注入タイミングによる精度の退行（Ablation結果）は、検索エンジンの設計において極めて重要な示唆を与えている。