【要約】「高台に避難してください」は届いているのか？ 防災情報を「やさしい日本語」にLLMで変換して公的ガイドラインで機械採点してみた [Qiita_Trend] | Summary by TechDistill
> Source: Qiita_Trend
Execute Primary Source
// Problem
自治体の防災担当者が、災害時に在留外国人へ情報を迅速かつ正確に伝えるためのリソース不足に直面している。具体的には以下の課題がある。
- ・防災無線や自治体サイトの文面が難解であり、日本語学習者に届かない。
- ・「やさしい日本語」への書き換え作業には多大な人手が必要である。
- ・既存の読みやすさ指標（jReadability等）では、語彙の難易度を正確に評価できない。
// Approach
筆者が、LLMによる自動変換と機械採点の有効性を検証するために、以下の手法を採用した。
- ・さくらのAI Engineを用い、5つのLLMモデルで実在の防災文面8本を変換。
- ・形態素解析器fugashiを活用し、拍数や漢字密度、受身表現などを判定する10項目の採点器を実装。
- ・国産モデルllm-jpに対し、指示をSystemプロンプトに置くかUserメッセージに置くかの比較を実施。
// Result
検証の結果、モデルごとに性能と運用上の特性が明確に分かれた。
- ・gemma-4-31Bが準拠率88%で優勝し、自発的な分かち書きも実現した。
- ・llm-jpは指示の配置により準拠率が31%から82%へ劇的に変化した。
- ・思考型モデル（Kimi, Qwen）は品質は高いが、応答に14〜16秒を要し速報には不向きである。
- ・全モデル共通の弱点として、漢字密度の制御（1文4字以内）が困難であることが判明した。
Senior Engineer Insight
> 評価器自体の設計ミス（平均値と最大値の混同）が結果を左右する点は、ベンチマーク構築における教訓だ。実運用では、形式チェックによる一次フィルタとしてLLMを活用しつつ、情報の正確性を担保する人間による最終確認を組み込む「Human-in-the-loop」の設計が不可欠である。また、緊急時を想定するなら、思考型モデルのレイテンシは致命的なリスクとなる。