【要約】AIレビューがすり抜ける「なんか妥当じゃない」を、数えられる条件に翻訳した話 [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
GMOコネクトの永田氏が、スライド資料の品質管理において、AIエージェントを用いたレビュープロセスを構築した際に直面した課題。
- ・AIに249項目のチェックリストを渡しても、文脈の不備などの「事実誤認ではないが妥当でない指摘」がすり抜ける。
- ・指摘箇所が本文や索引など多岐にわたるため、一部を修正しても「直りきったか」の判定が困難である。
- ・言語化（チェックリスト化）だけでは、修正の完遂を機械的に担保できない。
// Approach
氏は、抽象的な「感想」を決定論的な「数えられる条件」へ翻訳する手法を採用した。
- ・何を数えるか：主語の語彙を固定し、正規表現を用いて文末の形式を判定する。
- ・どこで数えるか：ブラウザ上の要素の高さと行送りの比率から、実測行数を算出する。
- ・何を数えないか：Jaccard係数を用いて、要約文などの意図的な重複をノイズとして除外する。
- ・検査の検証：対象枚数の確認や既知の違反を用いたテストを行い、検査自体の漏れを防ぐ。
// Result
249項目の点検表のうち、107項目（43%）を機械検査へと落とし込むことに成功した。
- ・「主語の欠如」や「文体の不一致」などの形式的な不備を、高い精度で自動検出可能になった。
- ・「締めが唐突」といった抽象的な指摘も、文字列の重なりを計算することで定量的に判定可能となった。
- ・論理的妥当性などの「基準を条件化できない」残り6割については、目視による検証が必要であると明確化した。
Senior Engineer Insight
> AIに「思考」を求めるのではなく、「規約に基づいた判定」をさせる設計思想が極めて実践的である。LLMの曖昧さを、正規表現やDOMの実測値、集合論といった決定論的なロジックで補完する手法は、品質担保の現実解といえる。ただし、自動化率43%が示す通り、論理的妥当性の検証には依然として人間のリソースが必要だ。検査を「当たり」を付けるための道具として位置づける視点が重要である。