【要約】【Three.js × AI】監視カメラ越しにAIを導くチャット指示型脱出ゲームを作ってみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者は、プレイヤーの自由な指示に対応できるインタラクティブなゲーム体験を目指した。しかし、従来のゲーム開発手法では、あらかじめ定義されたアクションしか実行できないという課題があった。
- ・プレイヤーの「無茶振り」に対応できない。
- ・予測不可能な指示に対し、プログラムが無視または停止する。
- ・アクションの追加には、都度開発者の手作業による実装が必要となる。
// Approach
開発者は、LLM（Gemini API）を介して自然言語をシステム制御可能なデータへ変換する手法を採用した。
- ・指示の解析：Gemini APIを用い、入力を「セリフ」と「アクションタグ」のJSON形式に変換する。
- ・状態管理：Three.jsのレンダリングループとフラグを用いて、抽出したアクションを3Dモデルに反映する。
- ・動的生成：未知のアクションに対し、AIにThree.js用のキーフレーム（座標や回転角）を生成させ、実行時に動的な関数として組み込む。
// Result
開発者は、事前に定義されていない動作であっても、AIの推論によってリアルタイムで実行可能な仕組みを実現した。
- ・未知の指示への対応：AIが生成したパラメータに基づき、動的なアニメーションが可能となった。
- ・拡張性の確保：新しいアクションをデータベースに保存し、継続的に利用できる構造を構築した。
- ・現状の課題：APIエラーへの対応や、生成されたコードの安定性向上が継続的な課題である。
Senior Engineer Insight
> LLMによる動的なパラメータ生成は、インタラクティブ性の極致と言える。しかし、実戦投入には「レイテンシ」と「信頼性」の壁がある。LLMの推論待ちによる操作遅延は、ゲーム体験を著しく損なう。また、生成されたJSONが不正な場合、ランタイムエラーを招く。商用環境では、生成ロジックのバリデーション層と、軽量なローカルモデルによるフォールバックが不可欠だ。