【要約】CSV から XML への変換、Python でどう実装する？（実データの落とし穴と対策） [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
データ連携の現場において、開発者はCSVからXMLへの変換処理を実装する際、入力データの不完全さに直面する。単純なマッピングでは、システム連携時にパースエラーやデータ欠損を引き起こすリスクがある。
- ・XMLの命名規則に反するヘッダー文字の混入。
- ・XML予約文字による構文エラー。
- ・1セル内に複数値が格納される疑似階層データの存在。
- ・空行やコメント行の混在。
// Approach
開発者は、ライブラリを活用した単純な変換から、例外を吸収する堅牢な実装へと段階的に進む。まず、基本となる変換ロジックを構築した上で、以下の対策を講じる。
- ・
spire.xlsでCSVを読み込み、ElementTreeで動的なタグ構造を構築する。 - ・正規表現を用いて、ヘッダーから不正な記号を除去し、数字開始のタグ名を補正する。
- ・特定の列に対して区切り文字による分割処理を行い、子要素として展開する。
- ・ループ内で空行を判定し、スキップするガード節を実装する。
// Result
例外処理を組み込むことで、不完全なCSVに対しても堅牢な変換スクリプトが実現できる。これにより、データ連携の自動化におけるエラー率を大幅に低減できる。
- ・タグ名のサニタイズにより、XMLパースエラーを未然に防ぐ。
- ・疑似階層データの展開により、データの構造化レベルを向上させる。
- ・UTF-8指定とXML宣言の付与により、標準的なXML出力が可能になる。
Senior Engineer Insight
> 本手法は、中規模までのデータ連携において極めて実用的である。実データが綺麗であるという幻想を捨て、サニタイズ等を組み込む姿勢は、現場で必須の視点だ。ただし、大規模データでは
ElementTree のメモリ消費がボトルネックとなる。その際は、ストリーム処理への移行を検討すべきである。また、spire.xls の依存関係がプロジェクトの制約に抵触しないか、事前に精査が必要だ。