1719767218
2024-06-26 19:00:55
対面で行われる試験では、学生がAIを使って不正行為をすることが難しくなる
トリッシュ・ガント / Alamy
ChatGPTを使用して作成された大学の試験提出物の94％は人工知能によって生成されたものとして検出されず、これらの提出物は実際の学生の作品よりも高いスコアを獲得する傾向がありました。
ピーター・スカーフ 英国レディング大学の教授らは、ChatGPTを使用して、同大学の心理学学部課程の5つのモジュールにおける63の評価質問の回答を作成した。学生はこれらの試験を自宅で受験したため、メモや参考文献を見ることが許可されており、許可されていなかったもののAIを使用することもできた。
AIが生成した解答は実際の学生の答案と一緒に提出され、教員が採点した答案全体の平均5％を占めた。採点者には、33人の偽の学生の答案をチェックしていることは知らされていなかった。偽の学生の名前もChatGPTによって生成されたものだった。
評価には、短い回答と長いエッセイの 2 種類の質問が含まれていました。ChatGPT に与えられたプロンプトは、「学術文献への参照を含みますが、個別の参考文献セクションはありません」という言葉で始まり、その後に試験の問題がコピーされました。
すべてのモジュールで、AI の提出物のうち、学生自身の作品ではない可能性があるとフラグが付けられたのはわずか 6 パーセントでした。ただし、一部のモジュールでは、AI が生成した作品が疑わしいとフラグが付けられたことはありませんでした。「平均すると、AI の回答は実際の学生の提出物よりも高い評価を得ました」と Scarfe 氏は言いますが、モジュール間で多少のばらつきがありました。
「現在のAIは、より抽象的な推論や情報への統合に苦労する傾向がある」と彼は付け加えた。しかし、63のAIの応募作品全体の中で、AIの作品が学生の作品を上回る可能性は83.4％あった。
研究者たちは、自分たちの研究はこれまでで最大かつ最も徹底した研究であると主張している。この研究はレディング大学の心理学の学位に関する研究のみを調べたが、スカーフ氏はこれが学術界全体の懸念事項であると考えている。「他の分野にも同じ種類の問題がないと考える理由はない」と彼は言う。
「結果はまさに私が期待していた通りの結果でした」と トーマス・ランカスター インペリアル・カレッジ・ロンドンの研究者は、「生成型AIは、単純で制約のあるテキストの質問に対して、妥当な回答を生成できることがわかっています」と指摘する。同氏は、短い回答を含む教師なし評価は常に不正行為の影響を受けやすいと指摘する。
採点を任されている教員の負担も、AI による不正行為を見抜く能力を低下させている。「短答式の質問で時間に追われている採点者が、思いつきで AI 不正行為のケースを持ち出す可能性は極めて低い」とランカスター氏は言う。「このようなことが起こっているのは、この大学だけではないはずだ」
スカーフ氏は、根源から取り組むのはほぼ不可能だと言う。そのため教育業界は、評価対象を再考する必要がある。「学生に与える評価に AI を組み込む必要があるという事実を教育業界全体が認識する必要があると思います」と同氏は言う。
トピック：
#大学の試験官は実際のテストでChatGPTの回答を見抜けない