【要約】[レビュー] GoogleのTimesFM-3をリリース直後に自分で検証しました：ゼロショットは本物、目玉機能はまだ [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
検証者は、TimesFM-3が発表通りの性能を持つか、また実務で利用可能かを判断するために以下の課題を検証した。
- ・モデルが公開ベンチマークを暗記している「汚染」の有無。
- ・多変量予測や共変量入力といった新機能の有効性。
- ・予測精度と推論速度のトレードオフの関係。
- ・実務におけるライセンス上の制約。
// Approach
検証者は、モデルの真の実力を客観的に測定するため、厳格な比較実験を設計した。
- ・Wikipedia閲覧数と都市気温の2種類のデータを使用。
- ・ローリング起点を用いた大量の系列予測による統計的検証。
- ・学習データに含まれない未来の期間を用いた汚染検証。
- ・古典的統計モデル、GBM、旧モデルとの比較。
// Result
検証の結果、TimesFM-3は学習なしのゼロショット状態で極めて高い性能を示した。
- ・季節ナイーブに対し、日次で26〜30%、時間次で14〜26%の精度向上。
- ・LightGBMに対しても16〜29%の精度向上を達成。
- ・デコーディング方式の刷新により、推論速度が旧バージョン比で約5倍に向上。
- ・学習データ汚染の形跡は確認されず、未知のデータに対しても有効。
Senior Engineer Insight
> 精度と速度の両立は極めて強力である。特に5倍の高速化は、リアルタイム性が求められる現場で決定的な差となる。しかし、極値を保守的に予測する傾向は、異常検知や需要予測の極端なケースでリスクとなる。最大の懸念はライセンスだ。非商用ライセンスでは、どれほど技術的に優れていても本番環境への導入は不可能である。実務への適用には、商用利用可能なモデルの登場を待つ必要がある。