【要約】Garmin Exportを正規化して、AIがすぐ分析できるデータを作った [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
分析者がGarminのエクスポートデータをAIで解析しようとする際、データの構造や不整合に起因する多大な準備作業が発生する。具体的には、以下の課題に直面する。
- ・データの粒度がActivities、FIT、Gearなどで異なり、結合に手間がかかる。
- ・ActivityとFITファイルの紐付けに、日時や距離を用いた推測が必要で誤りが生じやすい。
- ・FITプロトコルの複雑な単位変換や欠損値の扱いが、解析者ごとに揺れる。
- ・AIへデータの型や単位、結合ルールを毎回説明するコストが高い。
// Approach
開発者は、データの粒度を維持しつつ、関係性とコンテキストをセットで提供する正規化プロセスを構築した。主な手法は以下の通りである。
- ・粒度ごとに独立した正規化ファイル（Activities, FIT Sessions等）を生成する。
- ・検証済みの関係のみを記録した「明示的リンク」を作成し、推測による誤結合を排除する。
- ・
SCHEMA_CATALOG.json等を用い、型、単位、プライバシー感度を機械可読な形で提供する。 - ・不明な値は0で埋めず、nullや監査情報として記録し、データの境界を明確にする。
// Result
このツールにより、ユーザーはデータの構造探索から解放され、高度な分析へ即座に移行できるようになった。具体的な成果は以下の通りである。
- ・AIが構造探索や単位変換を行う必要がなくなり、集計や解釈に集中できる。
- ・月間走行距離やシューズ別集計、レースの前後半比較などの具体的な分析が可能になった。
- ・正規化列にない指標（GCT等）も、Provenanceを辿ることで詳細解析できる。
Senior Engineer Insight
> 非常に実戦的な設計である。特に「推測でデータを埋めない」「不確実性を監査情報として残す」という姿勢は、大規模システムにおけるデータ整合性の観点から極めて重要だ。AIを単なる計算機ではなく、コンテキストを必要とするエージェントとして捉え、そのための「インターフェース（Handoff）」を設計している点が、単なるスクリプト作成とは一線を画す。データ品質の境界を明確に定義することで、AIのハルシネーションを構造的に防いでいる。