【要約】社内スキャンPDFを、ローカルOCRとローカルLLMだけで Markdown にする [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
機密性の高い社内文書をAIで活用したいが、外部へのデータ送信が禁止されている問題がある。組織のセキュリティ要件が、クラウドAIの導入を阻害している。
- ・クラウドOCRやLLMの利用が、組織のセキュリティ方針や契約により制限される。
- ・外部委託では、原本を第三者の環境に置くことへの監査や証明が困難である。
- ・「預かり」ではなく、顧客自身の手元で完結できる「自走」の仕組みが求められている。
// Approach
外部通信を一切行わない、ローカル完結型の文書変換パイプラインを構築した。自作のパイプライン「doc2ai」により、OCRから清書までを自動化する。
- ・OCR工程：横書きにはPaddleOCR（CPU）、縦書きにはNDLOCR-Liteを使い分ける。
- ・清書工程：LM Studio等のOpenAI互換APIを用い、ローカルLLMでMarkdownへ補正する。
- ・設計方針：推測による修正を避け、原文への忠実性を最優先する方針を採用する。
- ・出力形式：Markdown形式の本文に加え、RAG用のQ&A形式（JSONL）を生成する。
// Result
自作の技術文書を用いた検証により、実用的な精度と速度を実証した。機密文書のデジタル化において、十分な品質が得られることを示した。
- ・文字精度：図のノイズを除いた場合の文字精度（CERベース）は97.31%を達成した。
- ・処理速度：20ページの文書を約12分46秒（1ページあたり約38.3秒）で処理できる。
- ・データ活用：OpenAI形式のJSONLを生成し、ローカルLLMでの学習に即座に利用可能である。
Senior Engineer Insight
> 本手法は、RAG構築における「機密保持」と「データ化」の対立を解消する現実的な解だ。特に「推測による修正を避ける」という設計思想は、誤情報の混入が許されない業務マニュアルのデジタル化において極めて重要である。ただし、段組みや図表の構造化には限界がある。複雑なレイアウトの文書は、人間による事後確認を前提としたワークフローとして運用すべきだ。スケーラビリティの観点では、GPUリソースの確保がボトルネックとなる。