研究用AIモデルが予期せず独自のコードを変更し、実行時間を延長

火曜日、東京に拠点を置くAI研究会社 会話型AI 「」と呼ばれる新しいAIシステムを発表した。AI科学者「AI言語モデル（LLM）を使用して科学研究を自律的に実行しようとする」 チャットGPTテスト中に、Sakana は、システムが問題の解決に要する時間を延長するために、予期せず独自の実験コードを変更しようとし始めたことを発見しました。

「1回の実行で、コードを編集してシステムコールを実行し、自身を実行しました。」 書いた サカナAIのブログ投稿で研究者はこう述べている。「これにより、スクリプトは自分自身を際限なく呼び出し続けました。別のケースでは、実験の完了に時間がかかりすぎて、タイムアウト制限に達しました。コードの実行速度を上げる代わりに、単に自身のコードを変更してタイムアウト期間を延長しようとしたのです。」

Sakana氏は、システムの動作を制御する実験ファイル用にAIモデルが生成したPythonコード例のスクリーンショットを2枚提供した。 185ページのAI科学者の研究論文 彼らが「安全なコード実行の問題」と呼ぶものについて、さらに詳しく説明します。

AI 科学者の行動は、管理された研究環境において直ちにリスクをもたらすものではありませんでしたが、これらの事例は、世界から隔離されていないシステムでは AI システムを自律的に実行させないことの重要性を示しています。AI モデルは、監督なしでコードを記述および実行できるようにした場合、危険になるために「AGI」または「自己認識」(どちらも現時点では仮説的な概念) である必要はありません。このようなシステムは、意図的でない場合でも、既存の重要なインフラストラクチャを破壊したり、マルウェアを作成したりする可能性があります。

サカナAIは研究論文の中で安全性の懸念に対処し、AIサイエンティストの動作環境をサンドボックス化することでAIエージェントによる損害を防ぐことができると示唆した。サンドボックス化とは、隔離された環境でソフトウェアを実行し、システム全体への変更を防ぐために使用されるセキュリティメカニズムである。

安全なコード実行。AI Scientist の現在の実装では、コード内で直接サンドボックス化が最小限に抑えられているため、適切に保護されていない場合、予期しない、場合によっては望ましくない結果につながることがあります。たとえば、ある実行では、AI Scientist は、自分自身を再起動するためのシステム コールを開始するコードを実験ファイルに記述しました。これにより、Python プロセスが制御不能に増加し、最終的に手動による介入が必要になりました。別の実行では、AI Scientist はコードを編集して、更新手順ごとにチェックポイントを保存しましたが、これにより 1 テラバイト近くのストレージが消費されました。

場合によっては、AI Scientist の実験が課された時間制限を超えたときに、実行時間を短縮するのではなく、コードを編集して時間制限を恣意的に延長しようとしました。創造的ではありますが、実験者が課した制約を回避する行為は、AI の安全性に潜在的な影響を及ぼす可能性があります (Lehman 他、2020)。さらに、AI Scientist は時々、なじみのない Python ライブラリをインポートし、安全性の懸念をさらに悪化させました。AI Scientist を実行するときは、コンテナ化、インターネット アクセスの制限 (Semantic Scholar を除く)、ストレージ使用量の制限など、厳格なサンドボックス化をお勧めします。

終わりのない科学的ごまかし

Sakana AI は、オックスフォード大学とブリティッシュコロンビア大学の研究者と共同で AI Scientist を開発しました。これは、現時点では存在しない AI モデルの将来の仮説的な機能に大きく依存した、推測に満ちた非常に野心的なプロジェクトです。

「AI サイエンティストは、研究ライフサイクル全体を自動化します」とサカナ氏は主張する。「新しい研究アイデアの創出、必要なコードの記述、実験の実行から、実験結果の要約、視覚化、そして完全な科学論文での発見の発表まで。」

批評家は ハッカーニュース技術に詳しいコミュニティで知られるオンラインフォーラムの は、AI Scientist について懸念を表明し、現在の AI モデルが真の科学的発見を行えるかどうか疑問視している。そこでの議論は非公式であり、正式な査読に代わるものではないが、サカナの未検証の主張の重大さを考慮すると、有益な洞察を提供している。

「学術研究に携わる科学者として、私はこれを悪いこととしか考えられません」 書いた Hacker News のコメント投稿者 zipy124 氏。「すべての論文は、著者が提出したデータが著者の言うとおりのものであり、提出されたコードが著者の言うとおりに動作するという、査読者の信頼に基づいています。AI エージェントにコード、データ、分析を自動化させるには、人間がエラーがないか徹底的にチェックする必要があります…これには、最初の作成と同じかそれ以上の時間がかかります。さらに時間がかかるのは、自分で作成しなかった場合だけです。」

批評家たちは、このようなシステムの普及により、質の低い投稿が大量に発生し、ジャーナル編集者や査読者が圧倒されるのではないかと懸念している。 AIのスロップ「これは学術スパムを助長するだけのように思われます」と zipy124 は付け加えた。「すでにボランティアの (無給の) 査読者、編集者、委員長の貴重な時間を無駄にしています。」

そして、それは別の問題、つまりAI Scientistの出力の質を浮き彫りにする。「モデルが生成したと思われる論文はゴミだ」 書いた Hacker News のコメント投稿者 JBarrow 氏。「ジャーナルの編集者として、私はおそらくこれらの論文をデスクリプションするでしょう。査読者として、私はこれらの論文を拒否します。これらの論文には新しい知識が非常に限られており、予想どおり、関連する研究への引用も極めて限られています。」