科学的査読における AI の役割の増大を探る

James Zou はスタンフォード大学のコンピューター科学者で、大規模言語モデル (LLM) が科学的な査読をどのように支援できるか、そしてより広範には AI エージェントが研究をどのように加速できるかを研究してきました。これは科学界では挑発的なテーマであり、AI の能力が向上するにつれて取り組むべき重要なテーマです。

最近行われた大規模なランダム化実験では、次のような結果が得られました。 出版された で ネイチャーマシンインテリジェンスZou と共同研究者は、AI がレビューの品質に与える影響を評価するために、約 20,000 件のレビューについて人間のレビュー担当者に AI 支援を提供しました。これとは別に、ゾウは科学著者と査読者の両方としての AI の役割を研究するための実験的な「サンドボックス」である Agents for Science カンファレンスの開催にも協力しました。

全体として、彼は研究、データ、分析におけるエラーやギャップを発見することに AI の価値があると考えていますが、研究の相対的な重要性についての判断など、真に人間のタスクでは AI の限界があると指摘しています。

これらの取り組みが科学出版物における AI の将来に何を示唆しているかについて、Zou に話を聞きました。

AI は査読プロセスにどのように貢献しますか?

AI、特に言語モデルを使用して、研究と査読をサポートし、科学プロセスをスピードアップすることに多大な関心が寄せられています。主な利点は、AI が、科学者が正式に出版用の論文を提出する前に、迅速で常に対応できる批評家、つまり一種の投稿前レビュー プロセスのように機能できることです。 AI は草案のギャップや制限を評価するのに非常に優れているため、研究者はそれらに先制して対処できます。これにより、出版のために提出された最初の草稿の品質が向上し、その後のやり取りを減らすことができます。そして、査読者側にとって、プレッシャーは現実のものです。投稿が増えると、人間の査読者は非常に過大な負担を負うことになり、それが査読の質の低下や著者のフラストレーションにつながる可能性があります。

AI は査読者としてどこが最も強く、どこが最も弱いでしょうか?

まあ、まだ早いので不安定です。これまでのところ、AI はギャップや限界を特定するだけでなく、レビューのより客観的で検証可能な側面でも非常に優れています。たとえば、「表 1 のこの数値は本文で報告されている数値と一致しません」または「この式は他の式と一致しません」などです。 AIは、客観的でチェック可能な矛盾や技術的な問題には最も強く、研究の新規性や重要性に関する主観的な判断には弱いと言えます。実際、その主観的な評価の中には、おべっかに近いものさえあります。

科学者と AI の間の適切な協力関係とは何だと思いますか?

他の分野と同様に、AI は人間の意思決定を完全に置き換えるのではなく、サポートし、情報を提供する必要があります。人間、または人間のチームが編集上の最終的な決定を下さなければならず、科学者はその作業を支援しなければなりません。 AI は、初期の草稿に対してコメントを提供したり、省略を指摘したり、執筆や研究の改善を提案したりできますが、科学者は、AI と人間の査読者からのフィードバックを取り入れ、総合する責任を負い続けなければなりません。おそらく AI が向上するにつれて、これも進化するかもしれませんが、現時点ではそれが合理的な実践だと思います。

Agents for Science カンファレンスでは、科学者コミュニティがレビューできるコーパスを作成するために、AI の投稿とレビューを公開しました。ノーベル経済学賞受賞者にAI主導の論文を独自に評価してもらったこともあります。同氏は論文の書評で「これは技術的に非常によくできている」と書いた。

自分たちの研究における AI の役割の透明性に関する科学者の責任は何ですか?

科学者は、AI が研究自体や論文の執筆とレビューにおいてどこでどのように支援したかについて率直に報告する必要があります。彼らは、AI がどのように関与し、どのようなツールが論文に使用されたかを正確に認識する必要があります。結局のところ、責任と明確な責任の連鎖、そして最終的な決定は依然として人間によって行われるということになります。

科学界でのあなたの研究に対する反応はどうでしたか?

AI が査読をどのように改善できるかについて、多大な関心と好奇心が集まっています。私たちの 学習表現に関する国際会議 (ICLR) の実験では、AI フィードバックによってレビューの品質とレビュー担当者のエンゲージメントが向上することが示されました。私たちの Agents for Science カンファレンスにも、28 か国から 300 を超える AI 主導の研究の提出がありました。これに続いて、多くの会議やジャーナルが現在、査読プロセスを支援するために LLM を使用することを検討しています。

現在、仕事で AI をどのように活用していますか?

日々の研究作業に使用しています。たとえば、AI はコードを書くのに役立ちます。また、私は論文を正式に提出する前の投稿前レビュー プロセスとほぼ同じように AI を使用し、人間による査読が始まるずっと前にギャップや限界を特定し、対処できる改善点を提案します。

この研究は次にどこへ向かうのでしょうか?

私たちは、将来の科学における AI の使用方法を形作るための証拠と規範を確立することを目的として、AI エージェント向けの追加のカンファレンスを主催する予定です。この分野ではさらに慎重なテストが必要です。そして、AI が日常的な科学協力者 (作家、プログラマー、評論家) になるにつれて、科学界はどの役割が機械に属し、どの役割が人間に属するのか、そしてこの関係を有用かつ信頼できるものにする方法を磨き続ける必要があります。科学における AI の役割は今後も増大する一方であり、科学コミュニティは協力して将来のコラボレーションを形成する必要があります。