【要約】ローカルLLM（Gemma4 26B QAT）が110 tok/sで動いた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
ローカルLLMの運用において、モデルのパラメータ数とコンテキスト長が増大するほど、VRAM容量の不足と推論速度の低下が深刻な課題となる。筆者は、26Bクラスのモデルを16GBのVRAMに収めつつ、実用的な速度を維持することの困難さに直面した。
- ・VRAM容量不足によるモデルの分割（CPUへの退避）に伴う劇的な速度低下。
- ・128Kといった長いコンテキスト保持によるメモリ消費の増大。
- ・従来の量子化手法（PTQ）では、軽量化と回答品質の維持を両立しにくい点。
// Approach
筆者は、量子化による精度低下を学習段階で抑制するQAT（Quantization-Aware Training）を採用し、モデルの軽量化と高速化を図った。具体的には、以下の構成で推論環境を構築し、多段階のベンチマークを実施した。
- ・Gemma 4 26BのQAT版GGUFモデルを使用。
- ・llama.cppを用い、
-ngl 99設定により全レイヤーをGPUへオフロード。 - ・KVキャッシュの量子化（
-ctk q4_0 -ctv q4_0）により、メモリ消費を抑制。 - ・独自の多段階評価パイプライン（Phase 2〜5）により、速度と実作業品質を定量化。
// Result
QAT版の導入により、RTX 5070 Ti環境において、従来の量子化モデルの約3倍となる111.9 tok/sという驚異的な速度を記録した。これにより、大規模モデルのローカル運用における新たな選択肢を提示した。
- ・速度：QAT版（111.9 tok/s）に対し、通常版Q4/Q5/Q6は約33〜35 tok/sに留まる。
- ・品質：単純なQAや要約では高スコアを維持するが、複雑なHTML作成等では構文エラー等の微細な品質低下が見られた。
- ・用途：高速チャットや長文要約には最適だが、厳密な多段タスクには通常版が推奨される。
Senior Engineer Insight
> QATによる「速度とメモリ効率の劇的な向上」は、エッジデバイスや個人向けGPUでのLLM運用において極めて重要だ。110 tok/sという数値は、リアルタイムな対話体験を可能にする。ただし、複雑なコード生成における「細部の荒さ」は、エージェント型システムへの組み込み時に致命的なバグを招く恐れがある。実戦投入時は、タスクの難易度に応じてQAT版と通常版を動的に使い分ける、あるいは出力のバリデーション層を設ける設計が不可欠だ。