【要約】介護士がAIエンジニアを目指して、完全ローカルで動くRAGを作ってみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
未経験の学習者が、AIのハルシネーション（もっともらしい嘘）と、機密情報の外部流出という2つの課題に直面した。具体的には以下の問題が発生している。
- ・AIが根拠のない情報を生成し、ユーザーに誤った情報を伝えるリスク。
- ・介護現場のデリケートな個人情報を、外部のクラウドAIサービスに送信することへのセキュリティ懸念。
- ・開発過程における、ライブラリと本体の混同や実行モードの誤解といった環境構築の混乱。
// Approach
外部通信を遮断し、手元の資料に基づいた回答を生成するRAG（検索拡張生成）の手法を採用した。以下の3つのステップでシステムを構築している。
- ・文書のベクトル化：sentence-transformersを用いて、テキストを意味的な数値（ベクトル）に変換。
- ・類似検索：質問文をベクトル化し、意味が近い資料を特定。
- ・ローカルLLMの活用：Ollamaを用いて、gemma3:4bモデルによる回答生成をローカル環境で完結。
// Result
介護職のキャリアに関する質問に対し、出典を明示して回答する仕組みを構築した。これにより以下の成果を得ている。
- ・ハルシネーションの抑制：根拠資料に基づく回答により、情報の正確性を向上。
- ・プライバシーの確保：完全ローカル構成により、個人情報の外部流出リスクを排除。
- ・コストの最適化：外部APIを利用しないため、運用コストをゼロに抑えた。
Senior Engineer Insight
> 機密情報を扱う小規模なプロトタイプとして、極めて理にかなった構成である。特にプライバシーを優先したローカルLLMの採用は、実務上のリスク管理として高く評価できる。ただし、商用利用や大規模展開を想定する場合、gemma3:4bのような軽量モデルの推論精度や、ベクトル検索の効率、およびローカルハードウェアの計算リソース管理がボトルネックとなる。実戦投入には、ベクトルデータベースの選定や、推論レイテンシの最適化が不可欠である。