【要約】【永久0円】人間LLMのすすめ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がLLMの利用コスト増大や、ローカルLLM実行のための計算資源不足に直面している。具体的には以下の課題が挙げられる。
- ・LLMのAPI利用料金の高騰。
- ・最新モデルの限定公開によるアクセスの難しさ。
- ・ローカルLLMを動かすためのGPUリソースの不足。
// Approach
開発者は、人間を計算資源として利用するためのOpenAI API互換サーバーを構築した。以下の手法を用いてエージェントとの通信を実現している。
- ・OpenAI API互換サーバーとWebSocket通信を行うUIを実装。
- ・Streaming APIの挙動を模倣するため、
deltaイベントと末尾の
- ・
function_callを用いて、エージェントからのコマンド実行要求に対応。
// Result
開発者は、エージェント（Codex）を用いて、人間がプロンプトに応答し、ファイル操作等のコマンドを実行できる環境を実現した。
- ・Codexの設定により、既存のエージェントツールとの連携に成功。
- ・
echoコマンド等を用いたファイル作成の実行を確認。
Senior Engineer Insight
> 本システムは実運用には適さない。しかし、エージェントの挙動検証用モックとして極めて価値が高い。APIコストを気にせず、プロンプトやエージェントのロジックを人間が手動でテストできる。開発初期のデバッグ環境として、非常に実戦的なアプローチである。