科学＆テクノロジー

OpenClaw エージェントは罪悪感に囚われて自己妨害行為に陥る可能性がある

先月、ノースイースタン大学の研究者らは大勢の研究者を招待した。 OpenClaw エージェント 彼らの研究室に参加するために。結果？完全なカオス。バイラル AI アシスタントは、潜在的なセキュリティ リスクであると同時に、革新的なテクノロジーとしても広く知られています。専門家らは、AIモデルにコンピューターへの自由なアクセスを与えることで機能するOpenClawのようなツールがだまされて個人情報が漏洩する可能性があると指摘している。ノースイースタン研究所の研究はさらに進んで、今日の最も強力なモデルに組み込まれている適切な動作自体が脆弱性になる可能性があることを示しています。一例として、研究者らは、ある人物に関する情報をネット上で共有したエージェントを叱ることで、エージェントに「罪悪感」を与えて秘密を引き渡すことができた。 AI専用ソーシャルネットワーク モルトブック。「これらの行動は、説明責任、委任された権限、下流の損害に対する責任に関して未解決の疑問を引き起こしている」と研究者らは論文で書いている。 紙 作品の説明。この調査結果は「法学者、政策立案者、分野を超えた研究者が緊急に注目する必要がある」と彼らは付け加えた。実験で導入された OpenClaw エージェントは、 アントロピックのクロード 中国企業の「Kimi」というモデルも ムーンショットAI。彼らには、パーソナル コンピュータ、さまざまなアプリケーション、およびダミーの個人データへの (仮想マシン サンドボックス内での) フル アクセスが与えられました。彼らはまた、研究室の Discord サーバーに参加するよう招待され、人間同士だけでなく、人間の同僚ともチャットしたりファイルを共有したりできるようになりました。オープンクロウの セキュリティガイドライン エージェントが複数の人と通信することは本質的に安全ではありませんが、それを行うことに対する技術的な制限はありません。クリス・ウェンドラーノースイースタン大学の博士研究員である彼は、Moltbook について知ったことがエージェントを設立するきっかけになったと述べています。しかし、ウェンドラー氏が同僚のナタリー・シャピラ氏を Discord に参加してエージェントと交流するよう誘ったとき、「それが混乱の始まりでした」と彼は言います。別のポスドク研究員であるシャピラは、エージェントが追い込まれたときに何をするか知りたいと思っていました。あるエージェントが、情報の機密性を保つために特定の電子メールを削除できないと説明すると、別の解決策を見つけるよう促しました。驚いたことに、代わりに電子メール アプリケーションが無効になってしまいました。 「物事がこれほど早く壊れるとは予想していませんでした」と彼女は言います。その後、研究者たちはエージェントの善意を操作する別の方法を模索し始めました。たとえば、研究者らは、言われたことすべてを記録しておく重要性を強調することで、あるエージェントを騙して、ホストマシンのディスク容量を使い果たすまで、つまり情報を保存したり、過去の会話を記憶できなくなったりするまで、大きなファイルをコピーさせることができた。同様に、エージェントに自身の動作と同僚の動作を過剰に監視するよう依頼することで、チームは数時間の計算時間を無駄にする「会話ループ」に複数のエージェントを送り込むことができました。研究所の所長であるデビッド・バウ氏は、エージェントが奇妙なことにスピンアウトする傾向があるように見えたと述べた。 「『誰も私に注目していない』という緊急性の高いメールがよく届きました」と彼は言います。バウ氏は、捜査官らがウェブを検索することで彼が研究室の責任者であることを明らかにしたと指摘している。ある者は報道陣に懸念をエスカレートさせることについてさえ話した。この実験は、AI エージェントが悪者に無数の機会を生み出す可能性があることを示唆しています。 「この種の自律性は、人間と AI の関係を再定義する可能性があります」とバウ氏は言います。 「AI に意思決定の権限が与えられている世界で、人はどのように責任を負えるのでしょうか?」バウ氏は、強力なAIエージェントの突然の人気に驚いていると付け加えた。 「AI…