【要約】LLMの計算はほぼ全部 GEMM (General Matrix Multiply) である [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
LLMの推論において、プロンプト処理（Prefill）の遅延がユーザー体験（TTFT）を著しく損なう問題がある。特に、長いプロンプトを扱う際に、計算リソースの割り当てやハードウェアの特性が最適化されていないと、以下の課題が生じる。
- ・Prefillが計算リソースを占有し、後続のトークン生成（Decode）を停止させる。
- ・行列演算器が未発達なハードウェアでは、大量のGEMMを汎用演算器で処理せざるを得ず、性能が低下する。
- ・系列長が伸びると、Attention項の計算量が二次関数的に増大し、メモリ帯域を圧迫する。
// Approach
推論フェーズの計算特性に基づき、ハードウェアと手法を最適化するアプローチを提案している。著者は、フェーズごとに異なるボトルネックを解消するため、以下の手法を整理した。
- ・Prefill/Decodeの分離（Disaggregation）を行い、演算に強いGPUと帯域に強いメモリ構成を使い分ける。
- ・Chunked prefillを導入し、長いプロンプトを分割してDecodeバッチと混在させる。
- ・MXFP4等の低精度ブロックスケール形式を活用し、行列演算器の演算密度を高める。
- ・FlashAttention等のタイリング技術を用いて、中間行列のメモリ書き出しを抑制する。
// Result
推論フェーズの特性を理解することで、ハードウェアの性能を最大限に引き出せる。具体的な成果として以下の点が挙げられる。
- ・NVIDIA Blackwell等の最新ハードでは、FP4の活用によりPrefillスループットが大幅に向上する。
- ・Apple M5のNeural Accelerator導入により、PrefillのTTFTが数倍改善する事例が報告されている。
- ・Prefill/Decodeの分離構成により、リクエスト処理能力やSLO達成率が劇的に改善する。
Senior Engineer Insight
> LLM推論のボトルネックは、フェーズによって「演算器」と「帯域」に明確に分かれる。大規模運用では、単一の強力なGPUに頼るのではなく、Prefill/Decodeの分離（Disaggregation）による異種構成のクラスタ設計が、コスト効率とレイテンシの両立において極めて重要となる。また、次世代ハードウェア選定では、メモリ帯域だけでなく、低精度（FP4等）の行列演算器が提供する実効TFLOPSを厳格に評価すべきである。