【要約】AIに『見張らせて、最後の判断だけは人間が握る』EDRを作ろうとしている話 [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が、市販のセキュリティソフトを使用しない環境において、未知の脅威を検知・対処する手段を求めた。しかし、自動化と安全性の両立において以下の課題に直面した。
- ・プロセス監視の複雑性：バックグラウンドで動く無数のプロセスから、悪意ある挙動を特定する必要がある。
- ・AIの誤判定リスク：AIに全権限を与えると、誤検知時に重要なファイル削除やプロセス停止を招く恐れがある。
- ・運用の信頼性：AIの判断のみに依存することは、取り返しのつかない操作につながるリスクを孕んでいる。
// Approach
開発者は、AIの誤判定による被害を最小化するため、判断と実行の役割を分離するアーキテクチャを採用した。具体的な手法は以下の通りである。
- ・役割の分離：Rustによる「センサー・実行役」と、Python/LLMによる「判断役」に分ける。
- ・Rustの役割：ローカルサービスとして常時稼働し、プロセス監視とアクション実行を担う。
- ・Python/LLMの役割：怪しい挙動を検知し、脅威の度合いに応じて対応を決定する。
- ・段階的な対応：軽度なものは自動で一時停止・隔離（復元可能）し、重大なものは人間の承認を待つ。
- ・安全装置の導入：判断ロジックが誤作動しても、実行側で歯止めをかける設計とする。
// Result
開発者は、プロトタイプとして検知・隔離・承認のフローを実装した。現時点での成果と今後の展望は以下の通りである。
- ・設計の確立：判断と実行を分離し、OSの中核を守る安全装置を組み込んだ設計を実現した。
- ・検証フェーズ：ロジックとしての検知・隔離・承認フローはテストで確認済みである。
- ・今後の課題：実機での長期運用による、誤検知および見落としの発生率の検証が必要である。
- ・実用性の追求：実環境での運用実績を積み上げ、設計の安心感を裏付けることを目指している。
Senior Engineer Insight
> 設計思想は極めて合理的だ。判断（LLM）と実行（Rust）を分離し、人間をループに組み込む構成は、AIの不確実性を制御する上で定石と言える。しかし、実戦投入にはLLMの推論レイテンシがボトルネックになる懸念がある。また、Rust側での検知精度と、LLMへのコンテキスト供給の効率化が、実用性を左右するだろう。スケーラビリティよりも、まずは検知の正確性と誤検知時の復旧コストの低減に注力すべきフェーズである。