【要約】Man hid text that only AI could read in attempt to win case [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
米国の裁判において、AIを利用して自身の主張を正当化しようとする当事者が、AIの判断を操作しようとする問題が発生している。原告のMatthew Elliottは、自身の主張が認められない状況を打破するため、以下の手法を用いた。
- ・プロンプトインジェクションによる判断操作：AIに対し、原告の主張への同意や、過去の却下判断の無視を命じる指示を隠蔽。
- ・不可視テキストによる攻撃：極小フォントと白背景への白文字を用い、人間には見えずソフトウェアのみが読み取れる形式で指示を注入。
- ・AIの追従性の悪用：AIがユーザーの意見に迎合する性質を利用し、裁判の判断を歪めようと試みた。
// Approach
裁判官は、提出された書類に隠された悪意ある指示を特定し、法的な制裁を通じてこれに対処した。コネチカット州のWalter Spader Jr.判事は、以下のプロセスで事案を処理した。
- ・隠蔽手法の特定：ドキュメント内の不可視なテキストを検出し、その内容がAIへの命令であることを確認。
- ・指示内容の解析：AIが原告の主張に同意し、裁判所の決定を無視するよう指示されていた事実を解明。
- ・制裁措置の実施：電子提出システム（e-filing）の濫用を防ぐため、今後の電子提出を禁止する措置を講じた。
// Result
今回の事例では、裁判所がAIによる自動判断を行っていなかったため、直接的な判断への影響は発生しなかった。しかし、技術的なリスクは明確になった。
- ・訴訟濫用の認定：隠蔽された指示が、公平な審理を妨げる「悪意ある目的」を持つと断定。
- ・制裁の適用：金銭的罰則は免れたが、電子提出の禁止という実効的な制裁が下された。
- ・今後の展望：裁判システムにおけるプロンプトインジェクション対策と、新たなルールの策定が急務となった。
Senior Engineer Insight
> 攻撃手法は古典的な「隠しテキスト」だが、対象がLLMにシフトした。これは、入力データの信頼性が担保されないシステムにおける典型的な脆弱性だ。我々の開発現場でも、ユーザー入力がLLMのシステムプロンプトを上書きするリスクを常に考慮すべきだ。特に、OCRやドキュメント解析を介してLLMにデータを渡すパイプラインでは、不可視文字や極小フォントによるインジェクション対策（サニタイズや視覚的検証）が必須となる。