【要約】Apple, Google must stop profiting off AI nudify apps, San Francisco AG says [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
サンフランシスコ司法長官のデビッド・チュウ氏は、AppleとGoogleがディープフェイクポルノを生成するアプリの収益を得ているとして、法的措置を示唆した。技術的な課題は以下の通りである。
- ・AIにより、通常の写真を容易に露骨な画像へ変換できる。
- ・衣類の除去、顔の入れ替え、性的ポーズへの変更が可能である。
- ・アプリが「顔交換」等の無害な機能として偽装し、検知を回避している。
- ・調査では、テストした顔交換アプリの70%で裸体化が可能であった。
// Approach
司法長官は、プラットフォーム運営者に対して、有害なアプリの即時削除と検知システムの強化を求めている。具体的な動きは以下の通りである。
- ・対象となる13個のアプリに対し、停止勧告（cease-and-desist）を送付した。
- ・Googleは、指摘された5つのアプリをポリシー違反として停止した。
- ・Googleは、検索用語「nudify」の制限などの対策を実施している。
- ・Appleに対しては、より積極的な取り締まりと沈黙の打破を要求している。
// Result
Googleは一部のアプリ停止や検索制限を実施したが、プラットフォーム全体の安全性確保には課題が残る。現状の結果は以下の通りである。
- ・Googleは、有害コンテンツに対するプロアクティブな検知を継続すると表明した。
- ・xAIのGrokにおける不適切な生成事例が、プラットフォームの責任を再燃させている。
- ・司法長官は、改善が見られない場合は法的手段を検討する構えである。
Senior Engineer Insight
> 生成AIのモデレーションは、検知側と回避側の「いたちごっこ」が極めて激しい領域だ。特に、機能の偽装（Face-swappingとして登録）は、静的なスキャンでは防げない。動的な挙動解析や、生成プロンプトの文脈理解を組み合わせた多層的な防御が必要だ。プラットフォーム側は、技術的検知だけでなく、法的リスクを考慮したガバナンス設計を急ぐべきである。