【要約】【さくらAIで転生小説を書いてみるシリーズ第5回】新規232行・呼び出し回数0回——AI小説執筆エンジンに「ナレッジグラフ」を実装してみて分かったこと [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者が、AI小説執筆エンジンにおいて、既存のRAGでは特定の事実を正確に抽出できない問題に直面した。文脈の類似性に基づくRAGでは、登場人物の現在の状態といった厳密な事実の取得が困難であったためである。
- ・RAGの確率的な性質により、正確な事実の抽出が保証されない。
- ・実装の優先順位を誤り、データ投入なしに検索側のみを先行させた。
- ・新設したツール経路がテストのスタブ化対象から漏れ、課金が発生した。
// Approach
開発者は、事実を構造化して保持するナレッジグラフを、AIが自律的に検索できるツールとして実装した。これにより、特定の事実を正確に取得する手段をエンジンに提供しようと試みた。
- ・JSONファイルを用いた簡易的なグラフ構造の構築。
- ・AIへのツールスキーマ提示と、呼び出しを処理するループの実装。
- ・整合性チェック担当AIへのツール利用権限の付与。
// Result
開発者は、ツールの動作確認には成功したが、実運用での活用には至らなかった。実装自体は正しく動作したものの、データが存在しない環境ではAIがツールを選択しなかったためである。
- ・実際の章生成におけるツール呼び出し回数は0回であった。
- ・テスト実行時間の異常（226秒）から、API接続の漏れを検知した。
- ・データ投入プロセスの設計が不可欠であることを突き止めた。
Senior Engineer Insight
> ツール開発において、検索側と投入側の設計順序は極めて重要である。データがない状態での検証は、実用性の検証にはなり得ない。また、新しい実行経路は新たなテスト境界を生む。スタブ化の漏れは、予期せぬAPIコストを招く。設計段階でデータパイプラインとテスト範囲をセットで考えるべきだ。