【要約】ロースペックPCでローカルLLM家計簿を作ったら、LLMの仕事がどんどん減った話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、低スペックPCでプライバシーを保護しつつ家計分析を行うために、ローカルLLMを活用しようとした際に、モデルの性能限界という問題に直面した。具体的には以下の課題が発生した。
- ・数値参照の失敗：3.7Bクラスのモデルは、表形式のデータから正確に数値を抽出できず、桁違いの誤った要約を行う。
- ・情報の捏造：学習データに基づき、入力に含まれない情報（金利や家族構成など）を勝手に推測して助言を行う。
- ・一般論への逃避：抽象的な質問に対して、データに基づかない定型的な回答（サブスクの見直し等）を繰り返す。
// Approach
開発者は、LLMの役割を「計算機」から「読み上げ係」へと再定義し、システム全体の設計を見直すアプローチを採用した。具体的には以下のステップで解決を図った。
- ・役割の分離：金額の合計、前月比、外れ値の判定などの判断を伴う数値処理はすべてPythonで行う。
- ・入力データの最適化：行数の集約、上位項目の限定、および冒頭への【要点】（平文）の配置により、モデルが文をなぞるだけで済むようにする。
- ・プロンプトの具体化：禁止する情報のカテゴリ（金利、保険等）を具体的に列挙し、推測を抑制する。
- ・出力の機械的検証：生成された数値が入力サマリと一致するか、禁止単語が含まれていないかを自動チェックする。
- ・質問設計の変更：件数や金額を質問に含め、データがないと回答できない制約を設ける。
// Result
低スペック環境でLLMを運用する開発者にとって、ハルシネーションを抑制しつつ実用性を確保する設計指針を得た。具体的な成果は以下の通りである。
- ・精度の向上：数値の取り違えや、根拠のない助言を大幅に抑制できた。
- ・運用の効率化：警告ベースの機械的検証により、モデルの品質を定量的に比較可能にした。
- ・設計の教訓：LLMがなくても成立する堅牢な仕組みの上に、説明層としてLLMを乗せる設計の重要性が示された。
Senior Engineer Insight
> リソース制約下でのLLM活用において、モデルの性能向上を待つのではなく、システム設計で「LLMの弱点」を封じ込めるアプローチは極めて実践的である。特に、計算や論理判断を決定論的なプログラム（Python）に委ね、LLMを非構造化データの解釈に特化させる分離は、エッジAIの実装における定石と言える。ただし、LLMの出力を検証する仕組み自体にドメイン知識が必要となるため、検証ロジックの設計コストも考慮すべきである。