【要約】Google unveils two new TPUs designed for the “agentic era” [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
生成AIモデルの巨大化に伴い、学習には膨大な時間と計算資源、推論には低レイテンシとメモリ帯域が求められる。従来の汎用的なアクセラレータでは、学習と推論の両方を同一のハードウェアで処理することによるリソースの非効率性や、電力消費の増大、長文コンテキスト処理におけるメモリ制約が課題となっていた。
// Approach
学習用（8t）と推論用（8i）のチップを分離。8tは大規模クラスタでのスケーラビリティと計算密度を追求し、8iはSRAMを3倍に増量してKVキャッシュ保持能力を高め、カスタムARM CPU（Axion）との密結合により効率化を図った。さらにデータセンター設計まで含めた垂直統合的な最適化を実施した。
// Result
TPU 8tは前世代比で計算性能を約3倍に向上させ、学習期間を数ヶ月から数週間に短縮。TPU 8iはSRAM増量により長文コンテキストへの対応力を強化した。また、電力効率も前世代比で2倍に改善され、エージェント型AIの運用コスト低減と性能向上を同時に実現する見込みである。
Senior Engineer Insight
> 学習と推論のハードウェア分離は、計算リソースの最適配分という観点で極めて合理的だ。特に8iにおけるSRAM増量とAxion CPUとの密結合は、エージェント型AIに不可欠な長文コンテキスト処理と低レイテンシを実現する上で強力な武器となる。一方で、この垂直統合モデルはGoogle Cloudへの極めて強いロックインを意味する。インフラ層から冷却システムまで最適化された恩恵は大きいが、マルチクラウド戦略を重視する組織にとっては、プラットフォーム依存のリスクと、Googleのインフラ性能にアプリケーションの性能が直結する点を慎重に評価すべきだ。