AI のスロップがコンピューター サイエンスに危機を引き起こす仕組み

54秒。これは、OpenAI が先月リリースした Prism と呼ばれる新しい人工知能ツールを使用して、ラファエル ウィマー氏が実際には実行していない実験を書き上げるのにかかった時間と同じです。 「論文を書くのがかつてないほど簡単になりました。科学出版パイプラインの詰まりを解消するのがかつてないほど簡単になりました」とドイツのレーゲンスブルク大学で人間とコンピュータの行動を研究しているウィマー氏はBlueskyに書いている。

大規模言語モデル (LLM) は仮説を提案し、コードを記述し、論文の下書きを行うことができ、AI エージェントは研究プロセスの一部を自動化しています。これにより科学は加速する可能性がありますが、AI スロップとして知られる偽造論文や低品質の論文の作成も容易になります。

コンピューター サイエンスは、LLM が登場するまでは成長分野でしたが、現在は限界点に達しています。 2026 年の機械学習国際会議 (ICML) には 24,000 件を超える応募があり、これは 2025 年の会議の 2 倍以上です。ブームの理由の 1 つは、LLM の採用により研究者の生産性が 89.3% も向上したことです。 科学 12月に¹。

韓国の大田にある韓国科学技術大学院大学のコンピューター科学者、スルキ・リー氏は、「現在の審査システムが処理できるように設計された量をはるかに超えており」、「徹底的かつ慎重な評価がますます不可能になっている」と語る。

ボリュームだけが問題ではありません。多くの著者は、AI が生成したコンテンツを適切に検証または検証できていない、と Lee 氏は言います。著名な AI カンファレンスへの投稿を分析したところ、一部の論文は完全に AI によって生成されており、数十の論文には幻覚として知られる AI による捏造が含まれていることが示されています。 2022 年 11 月に ChatGPT が登場して以来、arXiv プレプリント リポジトリへの毎月の投稿数は 50% 以上増加し、毎月拒否された論文の数は 5 倍の 2,400 以上に増加しました (「拒否率の上昇」を参照)。

対応策の 1 つは、査読に AI を使用して火に火を消したり、偽の論文を排除したりすることです。他のオプションはもっと鈍いです。たとえば、arXiv は、初めての投稿者に対する適格性チェックを追加し、査読機関によって以前に受理されていないコンピュータ サイエンスのレビュー記事を禁止しました。一方、人工知能に関する国際合同会議（IJCAI）の主催者は、研究者に最初の論文以降、論文ごとに100ドルの支払いを義務付ける方針を導入することで、投稿を制限しようとしている。これらの支払いはレビュー担当者間で分配されます。

賭け金は高い、とリー氏は言う。この問題が解決されなければ、「科学研究、特にコンピュータサイエンスにおける信頼が損なわれる大きなリスクに直面する」と彼は言う。

AIのスロップ

ニューヨーク州イサカにあるコーネル大学の物理学者であり、arXiv の共同創設者でもあるポール ギンスパーグ氏は、AI の傾きを従来の方法で発見するのは難しいと述べています。ボランティアのモデレーターは、論文が関連する文献や手法とどの程度連携しているかを利用して、その論文のメリットを評価することはできなくなりました。 「AI のスロップは、要約を見ただけでは、あるいは全文をざっと読んだだけでは区別できないことがよくあります」と彼は言います。これにより、システムに対する「存続の脅威」が生じると彼は言う。

これまでのところ、カンファレンスは主に査読者を増やすことで対応してきました。昨年、学習表現に関する国際会議（ICLR）は、論文を投稿する人は誰でも他の人の投稿を査読するという要件を導入しました。注目を集めた NeurIPS カンファレンスの主催者は、採用活動により、おそらく若手の査読者をさらに採用することになると認めました。 Lee 氏によると、すでにいくつかの会議では、優秀な査読者に会議登録料の免除などの特典を提供することで、質の高い査読を奨励しています。

主要な AI カンファレンスでは、完全に AI によって書かれた査読が殺到しました

いくつかの企業は来年、スロップを阻止するための新たな措置を導入する予定だ。 ICML主催者は、著者が他の投稿論文のコピーを査読者に送付することを義務付けることで、複数の同様の論文の投稿を阻止する方針を導入しており、違反した場合、それらの著者によるすべての論文が拒否される可能性がある。

より急進的なアイデアには、カンファレンスを通じた出版からローリングのジャーナルベースのモデルへの移行が含まれます。これにより、毎年恒例の査読の混雑は避けられるが、一部の研究者はカンファレンスの名声とネットワーキングの機会を逃したくないかもしれない、とシンガポールの A*Star Institute for Infocomm Research の AI 研究者であるナンシー チェン氏は述べています。彼は昨年、注目を集めた NeurIPS カンファレンスのプログラム委員長を務めました。

もみ殻の除草