【要約】Copilot Studio で非構造化データはどこまでナレッジになるのか【Part 1: Classic experience】 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
実務担当者が、SharePoint上の設計図や組織図などの非構造化データをCopilot Studioで活用しようとする際、情報の欠落や誤認に直面する。既存のSPO参照のみでは、以下の課題が顕在化する。
- ・複雑な表（結合セルや複数ヘッダ）の構造保持。
- ・スキャンされた画像PDF（ラスター形式）の解析不能。
- ・図面における空間関係や組織図の階層構造の理解不足。
// Approach
検証者は、Copilot StudioのClassic experienceを用い、設定、プロンプト、接続方法を段階的に変更する5つの検証ラウンドを実施した。
- ・Round 1: SPO参照とデフォルト設定による基準値の測定。
- ・Round 2: モデル(Opus)変更、根拠のない回答の禁止、CIの有効化。
- ・Round 3: プロンプトによるCIやマルチモーダル機能の能動的利用の指示。
- ・Round 4: ナレッジソースをファイルUpload型(Dataverse)へ変更。
- ・Round 5: Upload型とプロンプト改良の組み合わせによる限界性能の測定。
// Result
開発者は、データの特性に応じた最適な構成を選択するための判断基準を得た。検証の結果、以下の成果と限界が判明した。
- ・画像PDFはUpload型にすることで、CIによるOCR解析が可能となった。
- ・プロンプト改良は、Pass数の向上よりも回答の誠実性（ハルシネーション抑制）に寄与した。
- ・空間関係や図の階層構造の推論は、Classic experienceでは断言できない限界がある。
Senior Engineer Insight
> 精度スコア以上に「回答の誠実性」を重視すべきだ。プロンプトにより、誤答を「正直な失敗」に変える手法は、実務での信頼性確保に直結する。ただし、Classicの構造的限界（空間・階層）は、New experienceやAzure AI Searchへの移行判断基準となる。運用コストと精度のトレードオフを冷静に見極める必要がある。