【要約】Cloudflareに学ぶ、オープンウェイトモデルの使い方 — 1兆パラメータMoEを「小さく・速く・安全に」回す [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
Cloudflareは、1兆パラメータ級の巨大MoEモデルを商用サービスとしてスケールさせる際、リソース消費と品質維持の課題に直面した。
- ・巨大なモデル重みとKVキャッシュがVRAM容量を圧迫する。
- ・Prefill（演算律速）とDecode（メモリ帯域律速）でボトルネックが異なる。
- ・高密度なリクエスト処理において、共有KVキャッシュの管理ミスが誤出力を招くリスクがある。
// Approach
Cloudflareは、計算フェーズごとのボトルネックの違いに基づき、数値フォーマットを使い分ける「非対称レシピ」を採用した。
- ・Prefill/Decodeを分離し、フェーズごとに最適な精度を適用する。
- ・KVキャッシュをFP8化し、コンテキスト保持容量を倍増させる。
- ・モデル重みをINT4化し、Decode時のメモリ帯域負荷を軽減する。
- ・物理ページに世代タグを付与し、実行時にキャッシュの整合性を検証する。
// Result
Cloudflareは、これらの最適化により、H200環境下で高い経済性と信頼性を両立させた。
- ・FP8 KV化により、64並列時にBF16比でスループットを41%向上させた。
- ・INT4重み化により、低並列Decodeで最大55%の高速化を実現した。
- ・整合性チェックのオーバーヘッドを1%未満に抑え、安全なキャッシュ共有を実現した。
Senior Engineer Insight
> Cloudflareの設計は、ルーフラインモデルに基づいた極めて合理的な判断だ。特にPrefill/Decodeの非対称な量子化は、実戦的な最適化の模範と言える。ただし、精度検証がMMLU等に偏っており、エージェント用途での劣化リスクは拭えない。現場への適用時は、自社タスクにおけるKLダイバージェンス等の検証が不可欠だ。