【要約】LLMアプリのコツは「LLMを使いすぎない」ことかもしれない [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がLLMに処理の大部分を依存させた旅行計画アプリを構築した際、システムの不安定性と制御不能性に直面した。LLMに過度な権限を与えたことで、以下の問題が発生した。
- ・IATAコード等の事実情報の誤認（例：大阪に対してKIXかITMかの判断ミス）。
- ・検証不可能なルート生成（目的地漏れや非現実的な順序）。
- ・根拠のない価格や所要時間の推測による、情報の信頼性欠如。
- ・設計思想が不明確な「vibe coding」による、テストとデバッグの困難化。
// Approach
開発者はLLMの役割を「自然言語の構造化」に絞り、それ以外のロジックを決定論的なプログラムへ移行する設計を採用した。具体的には以下のステップで再構築を行った。
- ・LLMの責務を「自然文 → TravelQuery（構造化データ）」の抽出のみに限定。
- ・IATAコードの解決を、
master.jsonを用いたマスタ管理へ変更。 - ・旅程候補の生成を、全順列などの決定論的なアルゴリズムへ移行。
- ・Pydanticによるスキーマ検証と、API実行前のユーザー確認プロセスを導入。
// Result
設計変更により、開発者は信頼性と制御性を備えた旅行検索CLIアプリを実現した。このアプローチにより、以下の成果が得られた。
- ・LLMの出力を検証可能な形に変換し、システムの挙動を予測可能にした。
- ・SerpApiの利用前にユーザー確認を挟むことで、APIコストの無駄を抑制。
- ・正確な価格とルートに基づく、信頼性の高い検索結果の表示を実現。
Senior Engineer Insight
> LLMを「信頼境界の外側」に置く設計は、実戦において極めて重要だ。LLMの不確実性を、Pydanticによる型定義やマスタデータによる補完で封じ込める手法は、スケーラビリティと保守性を両立させる。エージェントに全権を委ねるのではなく、決定論的なロジックで制御する「ハイブリッド構成」こそが、プロダクション環境におけるLLMアプリケーションの正解である。