世界

いいえ、この新しい本が言っていることにもかかわらず、aiは私たち全員を殺すつもりはありません

人工知能の台頭により、ロンドンのこのようなデータセンターの需要が高まっていますゲッティイメージズを介してジェイソンオールデン/ブルームバーグ 誰かがそれを構築した場合、誰もが死にますEliezer YudkowskyとNate Soares（Bodley Head、UK; Little、Brown、US） 人間の存在の全体に、私たちが心配することは非常に多くのことがあります。お金のトラブル、気候変動、愛と幸福を見つけることは、多くの人々のリストに大きくランクされていますが、献身的な少数の人にとっては、1つの懸念が何よりも上昇します。 カリフォルニア州のマシンインテリジェンスリサーチインスティテュート（MIRI）のEliezer Yudkowskyは、四半世紀にわたってこの原因を改宗しており、献身的なもののごくわずかです。その後、私たちはChatGptの時代に入りました。AIの安全性に関する彼のアイデアは、テクノロジーのCEOと政治家に反響する主流に突入しました。 ネイト・ソアレス、ミリでも書く 誰かがそれを構築した場合、誰もが死にます Yudkowskyが彼の議論を、社会全体で取り上げられるシンプルで簡単に消化可能なメッセージに蒸留しようとする試みです。これはこの目標に完全に成功し、以前は長いブログの投稿やウィキの記事に閉じ込められていたアイデアを凝縮し、スティーブンフライやマーク・ラファロなどの有名人からフィオナ・ヒルやベン・バーナンケなどの政策ヘビー級に宣伝された非常に読みやすい本に包まれています。問題は、説得力のあるものの、議論は致命的に欠陥があるということです。 理由を説明する前に、Yudkowskyが持っている深さでこの問題を考慮することに私の人生を捧げていないことを認めます。しかし、同様に、私は考えずにそれを却下していません。私は長年にわたってYudkowskyの作品をフォローしてきましたが、彼は非常に興味深い心を持っています。私は彼の660,000ワードのファンフィクションを読んだことさえ、実際に楽しんでいました ハリー・ポッターと合理性の方法、彼は、AIの安全性と効果的な利他主義運動と深いつながりを持っている合理主義コミュニティの哲学を支持しています。 これらの3つの動きはすべて、世界を第一原則から見る方法を導き出し、論理と証拠を適用して最良の方法を決定しようとします。 YudkowskyとSoaresは、良い合理主義者として、始まります 誰かがそれを構築した場合、誰もが死にます 第一原則からも。冒頭の章では、物理学の法則には、人間よりも優れた知性の出現を妨げるものがない方法を説明しています。これは、まったく議論の余地がないと思います。次の章では、Power ChatGPTが作成されているような言語モデル（LLM）の大きいモデル（LLM）の非常に良い説明を示します。 「LLMと人間はどちらも文産マシンですが、さまざまな作業を行うためにさまざまなプロセスによって形作られていました」とペアは言います。繰り返しますが、私は完全に同意しています。 第三章は、私たちが分岐し始める場所です。 YudkowskyとSoaresは、AISが物事を「望んでいる」かのように振る舞い始める方法を説明しながら、マシンが本当に「望んでいる」と言うことができるかどうかという非常に現実的な哲学的な質問を駆け巡ります。彼らは、誤って「不可能な」サイバーセキュリティの課題を完了するために予期しない動作を示すOpenaiのO1モデルのテストを指し、それが成功したいかのように動作するモデルの兆候として「あきらめない」という事実を指摘しています。個人的には、このシナリオへのあらゆる種類のモチベーションを読むのは難しいと思います。川にダムを置くと、川はそれを迂回しようとする試みを「あきらめない」が、川は何も望んでいない。 次のいくつかの章では、AIの整合性問題として知られているものを扱い、AIが望んでいると、目標を人類の目標と一致させることは不可能であり、最終的にはすべての可能な問題とエネルギーを消費して野望を促進したいと主張しています。このアイデアは、以前は哲学者のニック・ボストロムによって「ペーパークリップの最大化」として普及していました。彼は、ペーパークリップの作成を任されるAIが最終的にすべてをペーパークリップに変えようとすると考えています。 確かに - しかし、スイッチをオフにした場合はどうなりますか？ YudkowskyとSoaresにとって、これは不可能です。彼らの立場は、十分に進歩したAIは魔法（私の言葉ではなく、私の言葉）と区別できないものであり、その終miseを防ぐためのあらゆる種類の方法があるということです。彼らは、暗号通貨で人間を支払うための人間を支払うために人間を支払うことから、入札（信じられないほどではないと思うが、「望んでいる」という問題に戻る）から、脳を直接ハッキングできる人間の神経系の以前の未知の機能を発見するまで、すべてを想像してください（おそらく？ このようなシナリオを発明した場合、AIは自然に恐ろしいように思えます。このペアはまた、Openaiの最新のGPT-5モデルの場合のように、AIプラトーの兆候が実際に競合他社を妨害する秘密の緊密なAIの結果である可能性があることを示唆しています。私たちを運命に導かないものは何もないようです。 それで、私たちはこれについて何をすべきですか？ YudkowskyとSoaresには多くの政策処方があり、それらはすべて基本的にナンセンスです。 1つ目は、現在のAI革命に動力を供給しているコンピューターチップであるグラフィックプロセッシングユニット（GPU）が大幅に制限されるべきであることです。彼らは、国際機関による核スタイルの監視に服従することなく、2024年のトップERA GPUのうち8つ以上を所有することは違法であるべきだと言います。比較すると、メタにはこれらのチップの少なくとも350,000があります。これが整ったら、国家は、核戦争に危険を冒しても、登録されていないデータセンターを爆撃することにより、これらの制限を実施する準備をしなければならないと彼らは言います。データセンターは核兵器よりも多くの人々を殺すことができるからです」（彼らの強調）。 深呼吸してください。どうやってここに着いたの？私にとって、これはすべてパスカルの賭けの一種です。数学者のブレイズ・パスカルは、いくつかの単純な合計に基づいて、まるで（キリスト教の）神が存在するかのようにあなたの人生を生きることは合理的であると宣言しました。もし神が存在しているなら、信じることはあなたを天国での無限の利益のために設定しますが、信じられないことは地獄の無限の喪失につながります。神が存在しないなら、まあ、多分あなたは敬iousな生活を送ることで少し失うのかもしれませんが、それだけです。幸福を最大化する方法は信念です。 同様に、AIが無限の悪さにつながると仮定してデッキを積み重ねた場合、それを回避する際にほとんど何でも正当化されます。合理主義者が、今日の生きている人々が苦しんでいても、将来の数人の幸せな人間の創造につながる限り、現在の行動は正当化されると信じるように導くこの考え方です。 率直に言って、私は誰もがこのように考えて彼らの日々を経験する方法を理解していません。今日生きている人々は重要です。私たちには欲求と心配があります。私たちの何十億もの人が気候変動によって脅かされています。 誰かがそれを構築した場合、誰もが死にます。 Superintelligent AIをSFに委託し、そこに属し、今日ここで科学の事実の問題を解決するために私たちのエネルギーを捧げましょう。…