【要約】日本語の明細データをテーブル集計しようとしたら、データにも癖があることに気づいた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者が家計簿分析ツールを構築する際、複数の決済手段から出力されるデータの不整合に直面した。単なる形式の差異だけでなく、データの持つ意味の欠落が大きな課題となった。
- ・形式の不一致：文字コード（cp932/UTF-8）や日付形式が異なる。
- ・表記の揺れ：全角・半角の混在や、長音記号とハイフンの誤用がある。
- ・意味の欠落：Suicaの物販に店名がない、銀行摘要が抽象的すぎる。
- ・情報の混入：クレジットカードの店名に分割払い情報が混ざる。
// Approach
開発者は、データの癖を「形式」と「意味」に分類し、段階的なクレンジングと取り込み設計を行った。データの性質に応じて、重複排除のアルゴリズムを使い分けている。
- ・形式の修正：NFKC正規化後の長音記号復元や、正規表現による駅名抽出を実施。
- ・重複排除の最適化：残高列がある場合は行ハッシュ、ない場合はバッチ単位の入れ替えを採用。
- ・手動情報の保護：再取り込み時に、ユーザーが手動で行った分類を上書きしない設計を導入。
- ・日付の定義：集計軸（利用日）と取り込み単位（支払日）を分離して管理。
// Result
開発者は、実データ特有の「意味の癖」を、集計プロセスを通じて特定することに成功した。これにより、データの整合性と運用の継続性を両立させた。
- ・検知精度の向上：形式の癖はAIや目視で、意味の癖は集計結果から判別可能。
- ・データの整合性確保：重複排除と手動分類の保持により、継続的な運用を実現。
- ・設計指針の確立：データの性質に応じた、柔軟なETL設計の重要性を再認識した。
Senior Engineer Insight
> 外部データのETL設計において、データの「形式」と「意味」を分離する視点は極めて重要だ。特に、残高列の有無による重複排除戦略の切り替えや、手動分類情報の保護といった設計は、実運用における整合性を担保する上で非常に実践的である。形式の癖はAIで、意味の癖は集計結果から見抜くというアプローチは、開発コストを抑える上で有効な知見と言える。