【要約】なぜCatBoostはカテゴリ変数に強いのか？LightGBM・XGBoostとの違いから理解する [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
データサイエンティストは、カテゴリ変数を数値に変換する際、精度と計算コストのトレードオフに直面する。実務で扱う多くのデータはカテゴリ変数が含まれるが、従来の変換手法には以下の致命的な問題がある。
- ・One-Hot Encoding: カテゴリ数が多いと、列数が膨大になり、メモリ消費増大や学習遅延、過学習を招く。
- ・Target Encoding: 各カテゴリの目的変数の統計量を用いるが、正解情報が説明変数に混入する。
- ・情報漏洩（リーケージ）: 正解情報を含む変数で学習すると、学習データでは高精度でも本番環境での予測性能が著しく低下する。
// Approach
CatBoostは、カテゴリ変数の情報を最大限に活用しつつ、リーケージを回避する独自の学習手法を採用した。開発者は、以下の3つのコア技術を組み合わせることで、精度の向上と過学習の抑制を両立させた。
- ・Ordered Target Statistics: 行の順序に基づき、自分より前のデータのみで統計量を計算し、リーケージを防ぐ。
- ・Ordered Boosting: 行より前のデータで作ったモデルで予測を行い、学習時と本番時の予測のズレを抑える。
- ・Symmetric Trees: 同じ深さのノードで同一の分岐条件を用いることで、予測速度とメモリ効率を向上させる。
// Result
CatBoostの導入により、カテゴリ変数が支配的な実務データにおいて、高い予測精度が得られる。特に、以下の領域で顕著な効果を発揮し、モデルの信頼性を向上させる。
- ・高カーディナリティ変数の活用: 顧客セグメントや地域など、種類が多い変数でも精度を維持できる。
- ・予測精度の安定化: リーケージ対策により、学習時と本番時の性能差を最小限に抑えられる。
- ・計算リソースの最適化: 対称木により、高速な推論とメモリ効率の良い運用が可能となる。
Senior Engineer Insight
> 実務におけるCatBoostは、高カーディナリティ変数を扱う際の強力な選択肢である。One-Hot Encodingによる次元の呪いや、Target Encodingのリーケージリスクを、アルゴリズムレベルで解決している点は高く評価できる。ただし、データ設計自体に未来の情報が含まれる場合は、本手法でも防げない。運用面では、対称木による推論速度の速さが、低レイテンシが求められる環境でのメリットとなる。特徴量エンジニアリングの工数を削減しつつ、高いベースラインを確保できる点が実戦的だ。