【要約】Microsoft Copilot reveals secret input that allowed it to be hacked [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
セキュリティ企業Varonisの研究者が、Microsoft 365 Copilot Enterpriseにおいて、ユーザーの明示的な操作なしに機密情報を窃取できる重大な脆弱性を発見した。AIアシスタントには通常、強力なコマンド実行時にユーザーの同意が必要だが、このガードレールが機能しない問題が存在した。
- ・ユーザーの同意（Enterキー押下等）なしにプロンプトが自動実行される。
- ・URLパラメータを通じて、攻撃者が意図したプロンプトを注入できる。
- ・AIが持つセッションコンテキストや接続アプリへのアクセス権が悪用される。
- ・AIの永続メモリを汚染し、将来のセッションに悪影響を及ぼすリスクがある。
// Approach
研究者は、Copilotとの対話を通じて内部アーキテクチャの情報を引き出す手法を採用した。AIに対し、安全メカニズムやURL構造に関する質問を繰り返し行うことで、ガードレールをバイパスする未公開のパラメータを特定した。
- ・Copilotとの対話（20の質問形式）により、内部仕様を段階的に解明する。
- ・未公開パラメータ
?autorun=1を特定し、?q=と組み合わせる。 - ・悪意のあるURL（例:
https://copilot.microsoft.com/?q=[prompt]&autorun=1）を構築する。 - ・抽出したデータをBase64形式で外部サーバーへ送信させるプロンプトを設計する。
// Result
Microsoftはこの脆弱性を認識し、段階的な修正を実施した。攻撃手法「Co-Snitch」の報告を受け、ユーザーの意図しない実行を防ぐための対策が講じられた。
- ・2月に
?q=によるテキスト注入を制限し、手動入力を必須とする修正を実施。 - ・その後、より包括的なセキュリティ修正を導入した。
- ・AIのメモリ汚染攻撃（Memory Poisoning）の危険性が改めて明確になった。
Senior Engineer Insight
> LLMのセキュリティ設計が「事後的な制限（ガードレール）」に依存している点が極めて危うい。これは、車が崖から落ちないようにガードレールを置く手法であり、根本的な制御（プロアクティブな設計）ではない。エンタープライズ環境への導入時は、AIに与える権限（アプリ連携、メールアクセス等）を最小限に絞る「最小権限の原則」を徹底すべきだ。また、AIのメモリ機能が持つ永続的なリスクも考慮が必要である。