【要約】“We cannot choose to become idiots”: The AI cheating scandal roiling Brown University [Ars_Technica] | Summary by TechDistill
> Source: Ars_Technica
Execute Primary Source
// Problem
ブラウン大学の経済学教授が、生成AIを用いた試験不正の疑いに直面した。持ち帰り試験を導入したところ、学生の成績が統計的に異常な数値を示したためである。教授は回答の文体に違和感を抱き、検証を開始した。
- ・持ち帰り試験の導入後、平均点が過去の65〜80%から96%へ急騰した。
- ・満点取得者が40名に達するなど、極めて不自然な分布となった。
- ・回答の文体が不自然に複雑であり、ChatGPTの出力と酷似していた。
// Approach
教授は、学生の真の実力を測定するために、評価手法を根本から変更した。AIによる不正を疑い、学生に「真の実力を証明する機会」を与えたのである。
- ・中間試験の結果を保留し、最終試験を「対面式（in-person）」に変更。
- ・最終試験の結果が中間試験と類似していれば中間試験を有効とする条件を提示。
- ・中間試験の不正が疑われる場合、その成績を無効化することを宣言。
- ・これにより、AIによる回答の模倣ではなく、個人の認知能力を直接測定する仕組みを導入した。
// Result
評価手法の変更により、AIによる不正の隠蔽が不可能となった。教授の厳しい措置に対し、学生の反応は二極化した。
- ・中間試験で満点を取った学生の多くが、試験を回避（ドロップまたは欠席）した。
- ・対面試験を受けた学生の平均点は、96点から48点へと大幅に低下した。
- ・AI利用が実際の学習を代替している実態が、定量的に証明された。
- ・これにより、AIに依存した学習が知識の定着を阻害していることが明らかになった。
Senior Engineer Insight
> AIによる生成物の「不自然なパターン」は検知の鍵となる。しかし、本件が示す真の教訓は、評価環境の設計にある。AI検知ツールに依存せず、対面試験のような「物理的な制約」を設けることが、システムの整合性を担保する最も確実な手段である。技術による検知には限界があることを認識すべきだ。