【要約】Meta ran ads for an app promising to nudify female politicians [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
Metaは、性的コンテンツを含む広告の配信を禁止している。しかし、AIを用いたディープフェイク生成アプリの広告が、同社の検知システムをすり抜けて配信される事態が発生した。主な課題は以下の通りである。
- ・広告主が、検知を回避するために無害な風景画像をカバーに使用する敵対的戦術を用いている。
- ・AIによる自動検知への依存度が高まり、人間によるモデレーションが減少している。
- ・低コードツールの普及により、誰でも容易にディープフェイクを作成・拡散できる環境にある。
// Approach
Metaは、広告の審査プロセスにおいて自動化されたツールを主軸としている。広告が配信される前に、ポリシーに照らして内容を検証する仕組みを構築している。具体的な手法は以下の通りである。
- ・広告のアップロード時にAI技術を用い、性的表現や不適切なコンテンツを検知・ブロックする。
- ・違反が確認された広告やアプリを削除し、開発者に対しては法的措置を講じる。
- ・削除したアプリや開発者の情報を他社と共有し、エコシステム全体での対策を図る。
// Result
報道機関の指摘を受け、Metaは当該の広告を削除した。プラットフォームの安全性向上に向けた取り組みは継続されている。具体的な成果は以下の通りである。
- ・Metaは昨年後半から年初にかけて、34万件以上の「nudify」関連広告を削除した。
- ・Appleは指摘を受けたアプリ「Kromix」をApp Storeから削除した。
- ・Metaは検知精度向上のため、新しいAI技術の導入を進めている。
Senior Engineer Insight
> コンテンツモデレーションにおける「AI vs AI」の戦いは極めて激しい。単一のモデルでは、カバー画像と動画内容の乖離（敵対的攻撃）を防げない。画像、動画、アカウントの信頼性、行動ログを統合した多層的な検知アーキテクチャが不可欠だ。運用コスト削減のための自動化は、攻撃側の進化速度に負けない精度が求められる。