【要約】LLMのAPIを「概念と構造」で理解する——農家エンジニアのチャットボット開発記③ [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がLLMを用いたチャットボットを構築する際、APIの挙動やシステム制約を理解せず実装を進めると、予期せぬエラーに直面する。筆者は実装過程で以下の問題に直面した。
- ・GLM-4.7の推論モードによるトークン枯渇。reasoning_contentがトークンを消費し、回答が空になる現象。
- ・FlaskのSession（Cookie）サイズ制限。3万文字超のSystemプロンプトを保存しようとし、4KBの制限を超過した問題。
- ・Session（短期記憶）とRAG（長期記憶）の役割の混同による、設計の不明瞭化。
// Approach
筆者は、書籍による概念理解と、実機でのエラー体験を組み合わせることで、APIの構造を深く理解するアプローチをとった。具体的には以下の手法を用いた。
- ・APIパラメータの役割を、料理の素材に例えて整理。temperature、presence_penalty、frequency_penaltyの制御を明確化した。
- ・Function Callingの仕組みを理解し、外部関数を自律的に呼び出すエージェント化の基礎を固めた。
- ・トークン管理の改善。max_tokensを4096に増量し、推論プロセスによる枯渇を回避した。
- ・Session設計の変更。SystemプロンプトはSessionに含めず、API呼び出し時にのみ先頭へ追加する構成とした。
// Result
エラーの根本原因を特定し、安定したチャットボットの実装に成功した。具体的な成果は以下の通りである。
- ・GLM-4.7の回答が空になる問題を、max_tokensの適切な設定により解決した。
- ・Cookieサイズ超過を、Sessionには会話履歴のみを保存する設計変更で回避した。
- ・Session（短期記憶）とRAG（長期記憶）を分離。文脈と外部知識を組み合わせた高度な提案が可能になった。
Senior Engineer Insight
> LLMの実装では、モデル固有の挙動やプラットフォームの制約を把握することが不可欠だ。GLM-4.7の推論モードによるトークン消費や、FlaskのCookie制限は、実戦的なトラブルシューティングの典型例である。また、SessionとRAGを「短期記憶」と「長期記憶」として分離する設計は、スケーラブルなエージェント開発において極めて重要である。これらを適切に管理することが、低レイテンシかつ高精度なシステム構築の要諦となる。