【要約】ローカルLLM向けハードウェアを「容量・帯域・MoE・TTFT」で選ぶ [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
ローカルLLMの環境構築において、演算性能（FLOPS）のみを基準に選定し、実運用で性能不足に陥る問題がある。
- ・モデルの重みがVRAMに収まらず、CPUオフロードにより速度が激減する。
- ・Decodeフェーズにおけるメモリ帯域の不足が、生成速度のボトルネックとなる。
- ・TTFT（初動速度）を無視した選定により、長文入力時に応答が遅延する。
// Approach
推論性能を決定する要因を、メモリ容量、帯域、モデル構造、応答速度の4点から整理し、選定基準を提示する。
- ・モデル容量の計算式（パラメータ数×量子化ビット数）による必要メモリの算出。
- ・Prefill（演算性能重視）とDecode（帯域重視）のフェーズ分離による評価。
- ・MoE構造における有効パラメータ数とメモリ帯域の関係性の分析。
- ・llama-benchを用いたpp（入力処理）とtg（生成速度）の個別測定。
// Result
ハードウェアの特性とモデルの性質を組み合わせることで、用途別の最適解を導き出した。
- ・32GB以内のモデルなら、RTX 5090が圧倒的な生成速度を実現する。
- ・70B以上の巨大モデルなら、統合メモリPCがロードの唯一の手段となる。
- ・MoEモデルは、統合メモリPCでも実用的な速度を維持できる可能性がある。
Senior Engineer Insight
> 「動く」と「実用的な速度で動く」の間には、メモリ帯域とカーネル実装による巨大な溝がある。単なるVRAM容量やFLOPSの比較は、実運用でのレイテンシ問題を見落とすリスクが高い。特にRAG等の長文入力が前提の用途では、生成速度以上にPrompt Processing性能を重視すべきである。