【要約】Codex のフックだけで日本語を読みやすくするハーネスを作った [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
Codexの日本語応答における、英単語の不自然な混入や長すぎる一文といった「読みづらさ」が課題である。プロンプトによる指示だけでは制御が不安定であり、従来の検品手法では追加トークン消費が膨大になるという、コストと精度の両面におけるペインポイントが存在していた。
// Approach
CodexのStop hookで応答を検品し、違反があればdecision: blockを返してLLM自身に自己修正(continuation)させる仕組みを構築。また、SessionStart hookを用いて、未解決の違反を次セッションの再教育プロンプトとして注入する、イベント駆動型の検品・学習ループを採用した。
// Result
応答トークンの追加コストを、従来の30〜50%増から、違反時のみの約15%増(通常は0%)へと大幅に削減。初手の通過率は23.8%に留まるが、自己修正プロセスを経て、文脈を維持した高品質な日本語出力を実現している。
Senior Engineer Insight
> プロンプトによる「指示」を、ランタイムの「仕組み」へと昇華させた点が極めて実践的である。特に、検品ロジックをPython側に、修正をLLM側に分離した設計は、文脈の整合性を維持しつつ計算資源を最適化する上で理にかなっている。トークンコストを最小化しつつ、セッションを跨いだ再教育ループを組み込んだ点は、LLMの非決定性を制御する優れたアプローチだ。ただし、違反発生時のcontinuationによるレイテンシ増大は、低レイテンシが至上命題となるプロダクション環境への導入に際して、慎重に評価すべきトレードオフである。