【要約】Copilot Studio で非構造化データはどこまでナレッジになるのか【Part 3: Copilot Studio (Standard harness) を極める】 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
開発者がCopilot StudioのStandard Harnessを利用する際、非構造化データの解析精度が頭打ちになる問題に直面した。GitHub Copilot Harness（New UI）は高精度だが、従量課金モデルへ移行した。これにより、定額のStandard Harnessで同等の精度を出す必要が生じた。具体的には以下の課題がある。
- ・Code Interpreterがファイル本体にアクセスできず、解析が失敗する。
- ・SharePointの検索インデックスが複雑なExcelを正しく拾えない。
- ・プロンプトによるCIの誘導が実質的に空振りする。
// Approach
検証者はStandard Harnessの精度を向上させるため、ツール登録とプロンプト設計の最適化を行った。エージェントがファイル本体へ直接到達できるパイプラインを構築した。
- ・SharePointコネクタをエージェントの「ツール」として明示的に追加。
- ・プロンプトを刷新し、CIの強制発火とファイル名グロッサリを実装。
- ・エージェントが迷わないよう、SharePointのファイルパス形式を指定。
- ・モデルをOpus 4.8へ更新。
// Result
適切な設計を施したStandard Harnessは、高コストなNew UIと同等の精度を達成した。検証の結果、以下の成果が得られた。
- ・評価ツールとChatの両方で、3セット全て7/7（完全正解）を記録。
- ・複雑なExcelの解析や、図面からの空間関係の推論、組織図の階層読み取りに成功。
- ・単発Q&Aやコスト優先のユースケースにおいて、Standard Harnessの有効性を証明。
Senior Engineer Insight
> 実務投入には「設計の重さ」を考慮すべきだ。Standard Harnessは定額で強力だが、コネクタ設定やファイル名グロッサリの保守が必要になる。CI実行後のセッション不安定性は、単発Q&A設計で回避せよ。コストと運用のトレードオフを冷静に見極めるべきだ。