【要約】デミス中央演算ーJSON化された情報は最小限かつ最大効用で運用される [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
従来の採用AI開発では、LLMに全ての判定を委ねる手法がコストと精度の限界に直面していた。
- ・LLMによるコンテキスト超過とハルシネーションの発生。
- ・大量の履歴書処理に伴う莫大なAPI費用の発生。
- ・加算モデルによる、現実の採用判断との乖離。
- ・不採用理由が不明瞭なブラックボックス化。
- ・人事データの管理に伴う高いデータベース運用コスト。
// Approach
Demisは、LLMを構造化データへの変換器としてのみ定義し、判定ロジックを数式へ分離する設計を採用した。
- ・LLMの役割を、テキストから5次元ベクトル（JSON）への変換に限定。
- ・シグモイド積モデルを用いた、CPU上での高速なマッチング計算。
- ・d*アルゴリズムによる、最小コストの能力改善策の提示。
- ・データベースを排除し、JSONファイルのみでプロファイルを管理。
// Result
この設計により、大規模なマッチング計算におけるコストとレイテンシの問題を解決した。
- ・100万通りのマッチング計算を、API費用ゼロかつミリ秒単位で完了。
- ・DB不要により、Azure App Serviceの無料プランでの運用を実現。
- ・不採用者に対し、具体的な能力向上策を提示する「育てる採用」を可能にした。
Senior Engineer Insight
> LLMを「推論エンジン」ではなく「パーサー」として扱う設計は、極めて合理的だ。計算量をO(N+M)に抑える戦略は、大規模トラフィックを捌く現場では必須の知恵である。DBを捨てJSONで管理する手法は、スケーラビリティとコストのバランスにおいて非常に攻撃的だ。ただし、データの整合性と、数理モデルに潜むバイアスの検証が実運用での鍵となる。