【要約】ペッパーズゴーストで等身大AIホログラムを作った話 - SORA // NEXUS 開発記 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者は、展示会場などのイベント現場で、止まることなくインタラクティブに動作するAIエージェントの構築を目指した。従来のAIチャットボットでは、以下の課題に直面する可能性がある。
- ・Gemini APIのクォータ制限（429エラー）によるサービス停止。
- ・来場者の再訪やジェスチャーに対する反応の欠如。
- ・展示内容に関する専門的な質問への回答精度不足。
// Approach
開発者は、可用性とインタラクティブ性を両立させるため、WebSocketを用いたリアルタイム通信基盤と、冗長化されたAIスタックを構築した。
- ・Gemini APIが制限に達した際、Ollama（Gemma 3:4b）へ自動で切り替えるフォールバック機構の実装。
- ・MediaPipeを用いたジェスチャー認識と、insightfaceによる顔認識（ArcFace 512次元）の統合。
- ・ローカルのテキスト・PDFファイルを参照する簡易RAG（ナレッジベース）の導入。
- ・CSSによるミラーモード適用と、感情タグを用いたアバターの表情制御。
// Result
開発者は、展示会等の現場で安定して動作する、高度なインタラクティブ体験を実現した。
- ・API制限下でも会話を継続できる、止まらないエージェントの実現。
- ・再来訪者の識別やジェスチャーへの反応による、没入感の高いコミュニケーション。
- ・タイムテーブル機能による、展示運営の自動化。
Senior Engineer Insight
> 非常に実戦的な設計である。特にAPIの429エラーを想定したOllamaへのフォールバックは、展示会のような「絶対に止まってはいけない」現場の要件を深く理解している。WebSocketによる単一接続でのデータ集約も、レイテンシ抑制に寄与する。ただし、ローカルLLMへの切り替え時に会話の文脈や品質が低下するリスクがある。また、MediaPipeのバージョン依存性への配慮など、環境差異への対策も評価できる。