【要約】【ローカルLLM】国産LLM「LLM-jp-4-33B」と「Qwen3.8-27B」の推論性能比較（RTX 5070 Ti + RTX 3070 Ti） [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
筆者が最新のBlackwell GPUを用いたローカルLLM環境を構築する際、ハードウェアの特性に起因する複数の技術的障壁に直面した。具体的には、以下の問題が発生した。
- ・Blackwell GPUにおいて、llama.cppのMMQカーネルがクラッシュし推論が停止する問題。
- ・WSL2環境におけるCUDA Toolkitのバージョン不整合によるコンパイルエラー。
- ・デュアルGPU構成における、自動メモリ割り当て（auto-fit）の誤認によるOOM（Out of Memory）。
- ・コンテキスト長拡大に伴う、限られたVRAM容量の枯渇。
// Approach
筆者は、Blackwell環境での安定稼働とマルチGPU環境でのスループット最大化を目指し、以下の回避策と最適化を実施した。
- ・
GGML_CUDA_FORCE_CUBLAS=ONを指定してビルドし、問題のあるMMQカーネルを回避。 - ・
--fit offで自動割り当てを無効化し、--tensor-splitによりVRAM容量に基づいた手動の層配置を実施。 - ・LLM-jp専用のfork版と、Qwen用の最新版llama.cppを使い分け、アーキテクチャへの適合性を確保。
- ・コンテキスト長とVRAM使用量の相関を実測し、8Kコンテキストにおける最適分割比率（16:7）を特定。
// Result
性能比較の結果、両モデルは異なる強みを持つことが判明した。検証を通じて得られた成果は以下の通りである。
- ・Core（基本問題）ではLLM-jpが92.97%と、Qwenを僅差で上回った。
- ・Challenge（応用問題）ではQwenが91.25%と、LLM-jpを上回った。
- ・トータル正答率は90.38%で同等であり、用途に応じたモデル選択の重要性が示された。
- ・Blackwell環境では、cuBLASの強制利用と手動のテンソル分割が安定稼働の鍵となる。
Senior Engineer Insight
> 本検証は、最新ハードウェア導入時の「ドライバ・ライブラリ・カーネル」の不整合という、現場で頻発する課題を浮き彫りにしている。特にBlackwellでのMMQ問題への対処や、マルチGPUにおける手動分割の重要性は、リソース制約下でのLLM運用において極めて実践的な知見だ。国産モデルの性能が応用領域で課題を残している点は、エンタープライズ用途での採用検討時に、プロンプトエンジニアリングやRAGによる補完を前提とする必要があることを示唆している。