[STATUS: ONLINE] 当サイトは要約付きのエンジニア向けFeedです。

TechDistill.dev

[DISCLAIMER] 当サイトの要約は正確性を保証しません。気になる記事は必ず原文を確認してください。
cd ..

【要約】政府OSS『源内(genai-web)』のセキュリティ設計を解読し、LLM推論もクローズドにしてみた [Qiita_Trend] | Summary by TechDistill

> Source: Qiita_Trend
Execute Primary Source

// Problem

以下の技術的課題が存在する。\n・LLMプロバイダへのデータ委託が社内ポリシーで制限される。\n・Bedrock GuardrailsがExApp(外部アプリ)経由の通信には適用されない。\n・API Gatewayの29秒制限により、長文推論がタイムアウトする。\n・自己署名証明書利用時、Lambda Node.jsがTLS検証エラーを起こす。

// Approach

ExAppプラグインモデルを用いて、以下の手順で解決する。\n1. WireGuardを用いてVPC内から社内DGX Sparkへプライベート接続を確立。\n2. FastAPIでプロトコル変換(ExApp ↔ Ollama)と非同期ジョブ管理を実装。\n3. asyncio.create_task を用い、202 Accepted を返してタイムアウトを回避。\n4. Microsoft Presidioと自前Vaultにより、ExApp境界でPII(個人情報)の匿名化を実装。\n5. Lambda環境変数 NODE_TLS_REJECT_UNAUTHORIZED=0 でTLS検証をバイパス。

// Result

genai-web本体を一切改修せず、バージョンアップへの追随性を維持。LLM推論データを社内ネットワーク内で完結させ、Bedrock Guardrailsの圏外領域をPresidioによるPIIフィルタで補完することに成功した。

Senior Engineer Insight

> 設計の美しさは「本体無改修」を実現するExAppモデルの抽象化にある。しかし、実戦投入には覚悟が必要だ。DGXやWireGuard、FastAPIの死活監視、モデル更新、PIIフィルタの保守がすべて自社責任となる。フェイルオーバーも自前で組まねばならない。高可用性を求めるプロダクション環境には不向きだが、「規定遵守」という組織的制約を技術で突破する、極めて実戦的な構成と言える。

[ RELATED_KERNELS_DETECTED ]

cd ..

> System.About()

TechDistillは、膨大な技術記事から情報の真髄(Kernel)のみを抽出・提示します。