【要約】複雑なExcelや、見にくいPowerPointをMarkItDownでmd変換してみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
RAGシステムの構築において、非構造化データの変換精度が重要な課題となっている。検証者は、人間向けに最適化された複雑な資料の変換を試みた。
- ・Excelの課題: セル結合や不規則な空白がパースを阻害する。
- ・PowerPointの課題: 図形や矢印による視覚的な論理構造が抽出時に消失する。
- ・データの性質: 人間の見やすさを優先した資料は、機械的な抽出に不向きである。
- ・抽出の限界: 単純なテキスト抽出では、情報の文脈が失われる。
- ・実務上の懸念: ノイズ混入により、LLMの回答精度が低下する恐れがある。
// Approach
検証者は、MicrosoftのMarkItDownライブラリを用いて変換精度を検証した。Pythonスクリプトにより、指定ディレクトリ内のファイルを一括処理する。
- ・使用ツール:
markitdownライブラリ - ・対象形式:
.xlsx,.pptx - ・実装内容:
Pathlibを用いたファイル操作と、変換結果の保存処理。 - ・検証手法: ダミーの複雑なExcelとPowerPointを用いて、変換後の構造を確認する。
- ・検証環境: Python環境下で、入力ディレクトリから出力ディレクトリへの変換フローを構築した。これにより、一括処理の自動化も検証している。
// Result
検証の結果、MarkItDownはテキスト抽出には有効だが、構造維持には課題が残る。
- ・Excelの結果: 空白セルが
NaNになり、結合セルがUnnamed等のノイズに変わる。 - ・PowerPointの結果: テキストは抽出できるが、図解の論理的順序が失われる。
- ・実務への影響: RAGへの直接投入は、検索精度を低下させるリスクがある。
- ・今後の展望: AIを用いた構造化プロセスの検討が必要である。
- ・結論: 複雑な資料に対しては、MarkItDown単体での変換は現実的ではない。
Senior Engineer Insight
> MarkItDown単体での実務投入は時期尚早である。RAGの精度を担保するには、変換後のデータクレンジングが不可欠だ。また、図解の論理構造を維持するには、マルチモーダルLLMを用いた構造化プロセスをパイプラインに組み込むべきである。コストと精度のトレードオフを考慮した設計が求められる。