【要約】AIの答えを、人はどうすれば信じられるのか。判定をLLMに任せない「Okaeri」の設計 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
賃貸物件の退去時に発生する精算書の請求において、借主が不当な請求を見抜けない問題がある。管理会社と借主の間の情報の非対称性が原因である。具体的には以下の課題が存在する。
- ・経験の非対称性：管理会社は膨大な処理経験を持つが、借主は数回しか経験しない。
- ・交渉の手間：ガイドラインの解釈や残存価値の計算が極めて複雑である。
- ・LLMの不確実性：従来のLLM単体では、回答の再現性がなく、計算ミスや指示への汚染のリスクがある。
// Approach
LLMの役割を「画像の構造化」に限定し、判定ロジックを決定論的なコードへ移譲する設計を採用した。これにより、AIの揺らぎを排除している。
- ・読解と判定の分離：LLMは精算書をJSONに変換するのみとし、金額計算はTypeScriptの純関数で行う。
- ・検証可能な根拠提示：RAGによる文章生成ではなく、コードが選定した条文の該当箇所を提示する。
- ・プライバシー保護：氏名や住所は端末内のOCR（tesseract.js）でマスキングし、サーバーへは送らない。
- ・コスト最適化：構造化にはGemini 2.5 Flash-Lite、交渉文にはGemini 2.5 Flashを使用する。
// Result
診断1件あたりの原価を約0.07円（交渉文含め約1.2円）という極めて低い水準に抑えることに成功した。これにより、個人が利用しやすい価格帯での提供を実現している。
- ・高い再現性：同じ精算書に対し、何度診断しても同一の金額が算出される。
- ・高い信頼性：利用者がAIの読み取り結果を直接修正でき、根拠となる条文原文とも突き合わせが可能。
- ・事業性：低原価設計により、1,980円という個人が支払いやすい価格帯での提供を実現した。
Senior Engineer Insight
> 本設計は「AIの不確実性をシステム全体でどう制御するか」という問いに対する極めて実践的な回答である。特に、LLMを「推論エンジン」ではなく「パーサー（解析器）」として定義し、ビジネスロジックを決定論的なコードに閉じ込めた点は、ミッションクリティカルな業務へのAI導入における黄金律と言える。また、コストと精度のトレードオフをモデルの使い分けで解決し、セキュリティをエッジ側で担保する構成は、スケーラビリティと信頼性を両立させる優れた設計である。