【要約】個人開発で『AIに読書傾向を語らせる』ために、ユーザーの機微情報を守る三段防御を設計した話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
個人開発者が、LLMを用いたパーソナライズ機能の実装において、ユーザーのプライバシー保護と安全性の確保という課題に直面した。具体的には、以下のリスクが懸念された。
- ・LLMが読書傾向から、ユーザーの思想、宗教、健康状態、心理状態を勝手に推論し、不適切な断定を行うリスク。
- ・ユーザーの自由記述メモがプロンプトインジェクションの経路となり、安全ルールを突破される懸念。
- ・個人開発において、機微情報の漏洩によるインシデントの責任を個人が負うというリスク管理上の問題。
// Approach
開発者は、機微情報の漏洩と不適切な出力を防ぐため、「何を語らせないか」を優先した三段防御の設計を採用した。
- システムプロンプトで人格診断を禁止し、プロンプトのバージョン管理を行う。
- ・防御①（入口）：PII（個人識別情報）の物理的排除。
_assert_safe関数を用い、ユーザーIDやメールアドレス等の禁止キーが含まれる場合にコードレベルでエラーを出す。- ・防御②（処理）：プロンプトインジェクションと出力規律の制御。
- システムプロンプトで人格診断を禁止し、プロンプトのバージョン管理を行う。
- ・防御③（出口）：生成結果の機械的フィルタリング。
// Result
この設計により、開発者はユーザーの心理的安全性とプロダクトの価値を両立させた。具体的な成果は以下の通りである。
- ・「本のテーマは語るが、ユーザー自身は語らない」という境界線を明確に定義できた。
- ・集約型の生成設計により、LLMの利用コストを予測可能な範囲に抑制した。
- ・ハルシネーション対策として、生成後の書誌情報をAPIで実在確認する仕組みを構築した。
Senior Engineer Insight
> LLMの不確実性を前提とした「多層防御」の考え方は極めて実戦的である。特に、プロンプトによる制御だけに頼らず、コードによる入力制限と、正規表現による出力検閲を組み合わせたFail-closed設計は、信頼性が求められる商用環境でも通用する。コスト管理面でも、イベント駆動を避け、集約・制限を行う判断は、スケーラビリティと収益性のバランスを考慮した優れた設計判断だ。