【要約】Microsoft Fabricのネイティブ実行エンジンはどこにどれくらい効くのか [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
データエンジニアは、大規模なSpark処理における実行速度の低下と計算コストの増大に直面する。従来のJVMベースのエンジンでは、行指向の処理方式やGCのオーバーヘッドが限界となっていた。また、以下の課題が性能を阻害する。
- ・JVMベースのエンジンによるメモリ効率の低さ。
- ・Python UDF使用時のJVMとPython間のデータ転送コスト。
- ・非対応処理時に発生する、警告のない「サイレントフォールバック」による性能低下。
// Approach
開発者は、Microsoft Fabricのネイティブ実行エンジン（NEE）を活用し、演算子をC++へオフロードする。これにより、既存のコードを変更せずに列指向・ベクトル化処理を導入する。具体的な手順は以下の通りである。
- ・Environment設定からNEEを有効化し、ベクトル化スキャンを導入。
- ・実行計画を確認し、ボトルネックとなる
BatchEvalPythonを特定。 - ・UDFをSparkの組み込み関数（DataFrame API/SQL式）へ書き換え、一気通貫のネイティブ実行を実現。
// Result
検証の結果、NEEの有効化とUDFのネイティブ化を組み合わせることで、劇的な性能向上が確認された。特定のワークロードにおいて、以下の成果が得られている。
- ・集計・結合等の典型処理において、NEE単体で2.2〜2.7倍の高速化。
- ・UDFを組み込み関数へ書き換えることで、UDF版と比較して15〜19倍の高速化。
- ・トータルでは、ベースライン（168s）に対し、約5.4倍（31s）の処理時間短縮を達成。
Senior Engineer Insight
> NEEの導入は、コード変更なしで恩恵を受けられるため、原則として標準設定にすべきである。しかし、真の性能を引き出すには、UDFの排除が不可欠だ。実行計画に
BatchEvalPythonが混入していないかを監視し、組み込み関数へのリファクタリングを徹底する運用フローを構築せよ。これは単なる高速化ではなく、計算リソース（CU）の最適化、すなわちコスト削減に直結する実戦的な施策である。