【要約】AI臭を減らすために、日本語lint・事実ロック・Geminiレビューを分けてみた [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
執筆者がAIを用いて文章を整える際、文章の「自然さ」を優先するあまり、数値やURL、固有名詞といった「事実」が意図せず書き換えられてしまうリスクに直面した。従来の統合的な判定プロセスでは、以下の課題があった。
- ・自然な文章への書き換えと、事実の保持が同一の判定プロセスで行われていた。
- ・AIの判定（PASS）を鵜呑みにすることで、情報の正確性が損なわれる懸念があった。
- ・エラーが発生した際、それが言語的な問題か、事実の不一致か、システム的な不備かの切り分けが困難であった。
// Approach
執筆者は、品質管理のプロセスを「検出」「保護」「提案」の3つの独立したレイヤーに分離するアプローチを採用した。これにより、各工程の責任範囲を明確化している。
- ・日本語lint:
natural-japanese等を用い、入力ファイルを直接修正せず、問題箇所（finding）のみを報告する。 - ・fact lock: 編集前後の重要項目（数字、日付、URL等）を正規化してハッシュ化し、保護対象の差分のみを検出する。
- ・Geminiレビュー: AIをread-onlyの編集者として位置づけ、変更権限を与えず提案のみを行わせる。
- ・receipt管理: 各工程の結果をJSON Schemaに基づいた形式で記録し、採否や未実施の状態を明示する。
// Result
プロセスの分離により、品質管理におけるエラーの所在が明確になり、情報の整合性が向上した。
- ・エラーの切り分け: lintの失敗と、呼び出し側のスキーマ参照漏れを区別して扱えるようになった。
- ・情報の整合性: 事実、数字、URL、コード等の重要情報を保持したまま、自然な文章への修正が可能となった。
- ・判断の透明性: AIの提案に対し、人間が「採用・見送り」を明示的に判断できる体制を構築した。
Senior Engineer Insight
> 本手法は、AIの「もっともらしさ」に対する極めて現実的な防御策である。単一のスコアで品質を測るのではなく、責任範囲を分離して「何が分かっていて、何が分かっていないか」を可視化する設計思想は、大規模な自動化パイプラインにおいて極めて重要だ。運用コストは増大するが、情報の正確性が求められるエンタープライズ用途では、このガードレールは必須と言える。