日本発、LLMの推論を「桁違い」に効率化する新アーキテクチャ「PHOTON」の論文が面白かったのでまとめてみた | TechDistill

> Source: Qiita_Trend

// Problem

従来のTransformerは、全トークンを逐次参照する「水平スキャン」を行うため、文脈が長くなるほどKVキャッシュが肥大化する。これがGPUメモリを圧迫し、推論性能が計算能力ではなくメモリ帯域によって制限される「メモリ帯域律速（Memory-bound）」を引き起こす。これが、長文処理や多クエリ配信における致命的なボトルネックとなっている。

// Approach

言語の階層構造を利用し、ボトムアップのエンコーダで文脈を要約し、トップダウンのデコーダで詳細を生成する階層的構造を採用。さらに、最上位レベルのKVキャッシュのみを保持し、下位層の再エンコードをスキップする「Recursive Generation (RecGen)」を導入した。これにより、アテンション幅を固定しつつ、過去の情報を効率的に保持・活用する。

// Result

1.2Bモデルの実験において、バニラTransformerと比較してメモリあたりのスループット（TPM）が最大約1,856倍向上した。言語モデルとしての品質（Perplexity）の低下を最小限に抑えつつ、長文コンテキストや多クエリ配信において圧倒的な効率化を実現。GPUリソースの制約をアーキテクチャ側から解決する有望な手法である。

Senior Engineer Insight

> Transformerの限界であるメモリ帯域律速に対し、言語の階層性を利用してアーキテクチャレベルで挑んだ点は極めて合理的だ。特にRecGenによるKVキャッシュの最小化は、推論コストとスループットに直結する。現時点では1.2Bクラスの検証に留まっており、数十Bクラスへのスケーラビリティが最大の焦点となるが、これが実証されれば推論インフラの経済性を根本から変える可能性がある。エッジデバイスでの長文対応や、高スループットなAPIサービスの構築において、極めて強力な武器となるだろう。