LLMチャットをやめて「思考ログ再利用システム」を作った話（Sigma-Eta System）

> Source: Zenn_Python

// Problem

単純なチャットUIでは、過去の思考プロセスの可視化が困難であり、全履歴をプロンプトに含めると計算コストが増大する。また、デバッグのための内部状態の観測や、異なるLLMバックエンドの柔軟な切り替えといった課題が存在する。

// Approach

思考をstateとoperationsの更新として捉え、turn/round/roleの階層で構造化。メモリ再利用をShallow/Deepの2段階に分け、score_profileを用いて非同期に再利用候補を評価する仕組みを導入した。また、preload.jsによりバックエンドの差異を吸収する構成とした。

// Result

思考ログの構造化と、score_profileによる再利用候補の順位付け機構が動作することを確認した。これにより、チャット結果だけでなく、そこに至る思考の途中経路を観測可能となり、継続的な改善に向けた基盤を構築した。

Senior Engineer Insight

> 入出力を単なる文字列ではなく「状態遷移」として定義し、メタデータによる評価機構を組み込んだ点が秀逸である。観測可能性を設計の核に据えることで、LLMの挙動制御とリソース最適化を両立させている。