【要約】AIが書いた日本語の見分け方 — 敬体率83% vs 1%。公用文の条文でチェックするリンターを作った [Zenn_Python] | Summary by TechDistill
> Source: Zenn_Python
Execute Primary Source
// Problem
開発者がLLMを用いてコミットメッセージ等の記録文書を生成する際、不適切な文体が混入する問題が発生している。文体の不一致は、単なる印象の問題に留まらず、記録としての有用性を損なう。
- ・LLM生成文は敬体率が83.3%と高く、記録文書の慣習（常体・体言止め）に反する。
- ・「適宜」などの曖昧な表現が、機械的な処理（エージェント間通信）において実行不能な指示となる。
- ・既存の修正ツールは、修正の根拠が主観的であり、妥当性の検証が困難である。
// Approach
著者は、公的な文書規範を根拠として文体を検証するリンター『ai-kousei』を開発した。公的な合意がある基準を機械可読な規則に変換し、根拠を明示する設計を採用している。
- ・公用文作成の考え方等の公的基準を、条番号付きで引用して指摘を行う。
- ・用途に応じた4つのプロファイル（commit, report, agent, customer）を実装。
- ・CI上で、規則の根拠となる出典が正しいかを一字一句照合する仕組みを導入。
- ・依存パッケージを排除し、正規表現のみで動作する軽量な設計とした。
// Result
このツールにより、人間が書いた文章に対する誤検出を最小限に抑えつつ、根拠に基づいた修正が可能になった。文体の統一だけでなく、指示の具体化にも寄与する。
- ・人間が書いた文章への誤検出率は、適切なプロファイル使用時で約2%に抑えられている。
- ・エージェント間通信において、曖昧な表現を具体的な数値や動作へ書き換える指針を与える。
- ・CIでの出典照合により、規則自体の信頼性を自動で担保している。
Senior Engineer Insight
> 非常に実戦的な設計だ。特に「エージェント間の受け渡し」における曖昧さ排除は、LLM時代のシステム設計において極めて重要である。形態素解析を避け、正規表現とプロファイル管理に絞ったことで、低レイテンシかつ低誤検出を実現している。CIでの出典照合は、ルールの信頼性を担保する優れた設計だ。運用コストも低く、即座に導入を検討すべきである。