LLM の科学への影響: 出版物の急増、品質の停滞

この効果は、英語を母国語としない人で最も顕著であると考えられます。研究者らが分析をアジアの機関で働くアジア人の名前を持つ人々に限定した場合、彼らがAIを使い始めてからbioRxivとSSRNへの提出率はほぼ2倍になり、arXivでは40パーセント以上上昇した。これは、強力な英語スキルを持たない人々が、説得力のあるテキストを作成するという大きなボトルネックを克服するために LLM を使用していることを示唆しています。

量と質

説得力のあるテキストを作成することの価値を過小評価してはなりません。 「明確だが複雑な表現を含む論文は、より強力であると認識され、より頻繁に引用される」と研究者らは指摘しており、記述されている研究の質の代用として文章の質を使用する可能性があることを示唆しています。そして、LLM支援を受けていない論文は、複雑な言語を使用している場合、査読文献に掲載される可能性が高いため、ここでその兆候を発見しました（要約は、いくつかの標準的な尺度を使用して言語の複雑さについてスコア付けされました）。

しかし、LLM が作成した論文では、その力関係はまったく異なりました。 LLM で書かれた論文の言語の複雑さは、一般に自然言語を使用した論文よりも高かった。しかし、彼らはそうでした 可能性は低い 結局出版されることに。研究者らは、「LLM支援原稿の場合、言語の複雑さと科学的価値との間の正の相関関係が消失するだけでなく、逆転する」と書いている。

しかし、違いのすべてが暗いわけではありません。研究者らが AI 支援論文で使用されている参考文献をチェックしたところ、LLM が他の全員と同じ論文を引用しているだけではないことがわかりました。代わりに、彼らはより広範囲の情報源を引用し、書籍や最近の論文を引用する可能性が高くなりました。したがって、AI の使用により、他の研究者が検討する出版された研究が最終的に多様化する可能性があります (研究者が自分の参考文献をチェックしていると仮定すると、明らかにそうすべきです)。

これは私たちに何を教えてくれるのでしょうか？

これらの結果を解釈するには、いくつかの注意点があります。研究者らも認めていることの1つは、人間がAIを使って最初のテキストを生成し、その後大幅に編集され、ここでは人間が作成したテキストとして誤ってラベル付けされる可能性があるということだ。したがって、AI の使用の全体的な普及率はさらに高くなる可能性があります。もう 1 つは、論文によっては出版されるまでに時間がかかる場合があるため、それを科学的品質の基準として使用すると、AI の使用が含まれる可能性が高い最近の草稿に不利益が生じる可能性があるということです。これらは最終的に結果の一部に偏りをもたらす可能性がありますが、著者らが観察した影響は非常に大きいため、完全になくなる可能性は低いです。