【要約】OpenCVとOCRを組み合わせてPDF書類内の丸がついた項目を自動判定してみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
OCRやLLM単体では、文字の周囲にある「丸印」という図形的なコンテキストを正確に捉えられない。また、OpenCVによる輪郭検出のみでは、書類のテーブル枠線や、文字と丸印の重なり、訂正のための二重線などを誤検知し、判定精度が著しく低下するという課題があった。
// Approach
OCRで得たテキスト座標を基準に、周辺領域の「黒ピクセル密度」を算出する手法を採用。密度差に基づいた判定に加え、OCRが失敗した箇所を線形回帰で補間するロジックを実装。さらに、取り消し線による密度上昇を考慮し、候補内で最も密度が低い箇所を選択する等の多段構えの判定アルゴリズムを構築した。
// Result
特定の定型フォーマットにおいて、手書きの選択状態を安定して抽出することに成功。今後は、多様なフォーマットへの横展開に向けたロジックの汎用化や、文字と丸印が重なった際の精度向上のための文字マスク処理の高度化を検討している。
Senior Engineer Insight
> 幾何学的な「円検出」という理想論に固執せず、ピクセル密度という物理量に落とし込んだ判断が極めて実戦的である。特に、訂正線による密度上昇を逆手に取った「最小密度選択」のロジックは、現場の泥臭いノイズを考慮した優れた設計だ。ただし、テキスト位置の事前知識を必要とするため、完全な非定型書類への適用には、セグメンテーション技術との統合が不可欠となるだろう。実運用における堅牢性を重視した、非常に筋の良いアプローチである。