【要約】RAGのチャンキング戦略を比較する：固定長・再帰分割・セマンティックの使い分け [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
RAG開発者が、プロンプト改善に注力する一方で、検索段階での文書片取得の失敗により精度が出ない問題に直面している。チャンキング設計が不適切だと、検索フェーズで正しいコンテキストを取得できない。具体的には以下の問題が発生する。
- ・チャンクが大きすぎると、複数の話題が混在し埋め込みベクトルが平均化される。
- ・チャンクが小さすぎると、情報が断片化し文脈が失われる。
- ・設定値（chunk_size等）に論理的な根拠がなく、精度が不安定になる。
// Approach
開発者が適切なチャンキングを選択できるよう、手法の比較とドキュメント構造に基づいた設計指針を提示する。単なる分割ではなく、文書の性質に応じた最適化を推奨している。
- ・3つの主要手法（固定長、再帰的、セマンティック）の特性比較。
- ・PDFのページやMarkdownの見出しを活用した構造的分割。
- ・ドキュメントの統計量（段落の75パーセンタイル等）に基づくサイズ決定。
- ・Golden Setを用いたContext Recallによる定量的評価。
// Result
適切な設計により、RAGの検索精度を向上させる具体的なプロセスが確立される。感覚的な調整を排し、数値に基づいた改善が可能となる。
- ・実務の8割は再帰的文字分割で対応可能。
- ・技術文書には「見出し単位＋再帰分割」の組み合わせが最も安定する。
- ・セマンティック分割はオフライン処理に限定し、コストと速度を制御する。
- ・評価指標により、変更の効果を数値で確認できる。
Senior Engineer Insight
> チャンキングは「実装の細部」ではなく「検索の設計」である。特にセマンティック分割のAPIコストとレイテンシは、本番環境のSLAに直結する。感覚的な設定を排し、ドキュメントの統計量に基づいたサイズ決定と、評価指標による定量的検証をプロセスに組み込むことが、実戦的なRAG構築の要諦だ。