AI の予言者の間で | ニューヨーカー

ウェストバークレーにあるカーチャ・グレースのアパートは古い機械工の工場内にあり、傾斜屋根と奇妙な角度の窓がある。 テラコッタの床があり、セントラルヒーティングはありません。そのため、カリフォルニアの太陽の光から抜け出して、遠い昔、あるいは遠く離れた薄暗い場所に迷い込んだかのような印象を与えることができます。 しかし、静かに未来的なタッチもいくつかあります。 大容量の空気清浄機が部屋の隅々に設置されています。 食料庫に積み上げられた保存食。 研究室品質の RNA 検査を行う、洗練された白い機械。 テクノロジーによって容易になる未来、あるいは常に警戒を続ける未来を予感させる類の物体。

AI Impacts という非営利団体の主任研究員であるグレースは、自分の仕事を「AI が世界を破壊するかどうかを考えること」だと説明しています。 彼女は、AI の安全性として知られる急成長しているサブ分野に関連する複雑な意思決定に関する理論論文やブログ投稿を書くことに時間を費やしています。 彼女は神経質な笑顔で、過剰に共有し、少しつぶやく性格です。 彼女は30代ですが、真ん中の部分と丸くて開いた顔で、ほとんど10代の年齢のように見えます。 アパートには本がぎっしり詰まっており、11月のある午後、グレースの友人がやって来たとき、彼は当惑しながらも批判することなく、しばらくの間、『ユダヤ人の離婚倫理』、『ユダヤ人の死に方』などの背表紙を眺めて過ごした。そして哀悼」、「死の死」。 グレースは、彼女の知る限り、ユダヤ人でも死にかけているわけでもありません。 彼女はその曖昧な気持ちをしばらくそのままにしておきました。 それから彼女は説明した。彼女の家主は、前の居住者である最近亡くなった元妻の所有物をそのままにしておきたいと考えていたのである。 「正直言って、ちょっと安心しました」とグレースさんは言いました。 「私が下す必要のない一連の決断。」

彼女は午後を、ヨーグルトとキュウリのサラダ、インポッシブルビーフジャイロなど、6人分の夕食の準備に費やしていた。 ホワイトボードの片隅に、彼女はパーティー前のタスクを丹念に小さなステップに分割していた（「サラダを切る」、「サラダを混ぜる」、「肉の型を作る」、「肉を調理する」）。 ホワイトボードの他の部分には、彼女はさらにグノームのプロンプト (「食品エリア」、「オブジェクト」、「物質」) を書きました。 彼女の友人、ポール・クロウリーという名前の Android の暗号学者は、黒い T シャツと黒いジーンズを着て、髪を黒髪に染めていました。 どうして彼らがお互いを知ったのかと尋ねると、彼はこう答えた。「ああ、私たちはシーンの一部として何年も前からすれ違ってきたんだよ」

「シーン」とは、メンバーは不可欠であると考えているが、ほとんどの一般人は何も知らない、卑劣な問題（安全なDNA合成、エビの福祉）についての徹底的な議論で知られるいくつかの絡み合ったサブカルチャーを意味すると理解されていました。 20 年ほどの間、こうした問題の 1 つは、人工知能が人類を向上させるのか、それとも人類を滅ぼすのかということでした。 悲観主義者は、AI 安全主義者、または減速主義者、または特にパニックを感じている場合には AI 破滅主義者と呼ばれます。 彼らはオンラインで知り合い、ベイエリアのグループハウスで一緒に暮らすことになることが多く、時には子供たちを共同で子育てしたりホームスクールしたりすることもあります。 ドットコム ブームが起こる前は、パステルカラーのビクトリア朝の長屋が建ち並ぶアラモ スクエアやヘイズ バレーの地区は、堅実な家庭的な雰囲気を持っていました。 昨年、サンフランシスコ・スタンダード紙はAIの「ハッカーハウス」に言及し、半ば皮肉をこめてこの地域をセレブラル・バレーと呼んだ。

テクノオプティミストの陣営は、AIの運命論を時代遅れのリバタリアン・ブーメリズムで拒否し、存亡の危機に関するすべての言い争いは一種の集団ヒステリーであると主張している。 彼らは自分たちを「効果的な加速主義者」、または e/accs (「イー アック」と発音します) と呼び、心配する人々が邪魔をしなければ、AI がユートピア的な未来、つまり星間旅行や病気の終焉をもたらしてくれると信じています。 。 ソーシャルメディア上では、彼らは予言者を「外交官」「超能力者」「基本的にテロリスト」、あるいは最悪の場合は「規制を愛する官僚」などと罵倒する。 「我々は神々から知性の火を盗まなければならない」 [and] 人類を星に向かって推進するためにそれを利用してください」と大手電子/ACCは最近ツイートした。 (そして、ベイエリアやインターネット以外の場所に拠点を置き、SF の喧騒や企業の熱気のせいとして、この議論をほとんど無視してきた規範も存在します。)

グレース氏のディナー パーティー、破滅的な人々と破滅的な好奇心を持つ人々のための半地下の交流会は、「ベイエリアの AI シーンの結びつき」と言われています。 このような集まりでは、誰かが「あなたのタイムラインは何ですか?」と尋ねて会話を始めるのを聞くのは珍しいことではありません。 または「あなたのp（運命）は何ですか？」 タイムラインは、AI が特定のベンチマークをどれだけ早く通過するかを予測するものです。たとえば、トップ 40 のポップソングを書く、ノーベル賞に値する科学的進歩を遂げる、汎用人工知能 (人間が行うことができるあらゆる認知タスクを機械が実行できるようになる時点) の達成などです。する。 （一部の専門家は、AGI は不可能であるか、あるいは数十年先のことだと考えていますが、他の専門家は、今年中に実現すると予想しています。）P(ドゥーム) は、AI が人間よりも賢くなった場合に、意図的か偶然にせよ、AI が絶滅する確率です。地球上のみんな。 何年もの間、ベイエリアのサークルの中でも、そのような憶測的な会話は疎外されてきました。 昨年、OpenAI が ChatGPT という不気味なほど自然に聞こえる言語モデルをリリースした後、突然主流に躍り出ました。 現在、AI の大惨事から世界を救うためにフルタイムで働いている数百人の人々がいます。 政府や企業に政策についてアドバイスする人もいます。 AI の安全性の技術的側面に取り組み、一連の複雑な数学的問題としてアプローチする研究者もいます。 グレースは、「AI システムは社会でどのような役割を果たすのか?」などの「高度な質問」に関する研究を行う一種のシンクタンクで働いています。 「彼らは『目標』を追求するのか？」 ワシントンDCでロビー活動をしていないときや、国際会議で会合していないときは、グレースのリビングルームのような場所ですれ違うことがよくあります。

残りのゲストも次々と到着した。 元OpenAI研究者。 未来を予言する研究所の所長。 グレースさんはワインとビールを勧めたが、ほとんどの人は簡単に説明できないノンアルコールの缶入り飲料（発酵エネルギードリンク、「ホップティー」）を選んだ。 彼らはインポッシブル・ジャイロをグレースのソファに持って行き、そこで真夜中まで話し合った。 彼らは礼儀正しく、不快な態度をとりながらも、基本的な前提を再考することに驚くほど忍耐強く応じてくれました。 「心配の要点は、本当に単純な2段階の議論に凝縮できるように私には思えます」とクロウリー氏は語った。 「ステップ 1: 私たちは、私たちよりもはるかに賢くなる可能性のあるマシンを構築しています。 ステップ 2: それはかなり危険なようです。」

「それでいいですか？」 予測研究所の最高経営責任者（CEO）、ジョシュ・ローゼンバーグ氏はこう語る。 「知性自体が危険だということについて？」

グレース氏は、すべての知的種が脅威を与えているわけではないと指摘し、「ゾウもいますが、ネズミはまだ元気に暮らしているようです」と述べた。

量子コンピューティングの専門家マイケル・ニールセン氏は、「ウサギは粘液腫症よりも知能が高いのは確かだ」と述べた。

クロウリーの p(doom) は「80% をはるかに超えていた」。 他の人たちは、数値を明らかにすることに慎重で、グレースに委ねたが、グレースはこう言った。「これについての私の深い混乱と不確実性を考えると、これはほとんどすべての人、少なくとも正直な人なら誰でも抱えていると思います」彼女は自分の意見を絞り込むことしかできませんでした(破滅）「10パーセントから90パーセントの間」に。 それでも彼女は続けた、「人類が絶滅する確率が10パーセントというのは、真剣に考えれば、明らかに容認できないほど高いです」

ChatGPTに対する何千もの反応の中で、最も新鮮で率直な評価の1つは、ステージ上のインタビュー中にスヌープ・ドッグから得られたものであることに彼らは同意した。 クロウリーは記録を取り出して読み上げた。 「これは安全ではありません。なぜならAIは独自の心を持っており、このクソ野郎たちは独自のことを始めるつもりだからです」とスヌープはAIの安全性に関する議論を言い換えて言った。 「くそ、一体何なの？」 クロウリーは笑った。 「認めざるを得ませんが、これは私の二段階の議論よりも感情的な傾向をはるかにうまく捉えています」と彼は言いました。 そして、その軽やかな瞬間を正当化するかのように、彼は別の引用を読み上げた。これは C.S. ルイスの 1948 年のエッセイからのものだ。祈ること、働くこと、教えること、読書すること、音楽を聴くこと、子供たちをお風呂に入れること、テニスをすること、ビールやダーツを飲みながら友達とおしゃべりすることなど、賢明で人間的なことをしているのですが、怯えた羊のように群がることはありません。」

グレースはエリーザー・ユドコウスキーの下で働いていた。彼はフェドーラ帽をかぶったひげを生やした男で、短気な態度で、AP(破滅)が99パーセントだった。 正統派ユダヤ人としてシカゴで育った彼は、8 年生の後に学校を中退し、独学で微積分と無神論を学び、ブログを書き始め、2,000 歳前半でベイエリアへ向かいました。 彼の最も有名な作品には、60 万語を超えるファン フィクション作品「Harry Potter and the Methods of Rationality」や、思考を研ぎ澄ます方法についての膨大なエッセイ シリーズ「The Sequences」などがあります。 これらの文章を中心に成長した非公式の集団は、最初はコメントで、次に物理的な世界で、合理主義者コミュニティとして知られるようになりました。この小さなサブカルチャーは、多くの場合、第一原則に基づいて議論することによって、「人間の理性の典型的な失敗モード」を回避することに専念しています。または潜在的なリスクを定量化します。 ソフトウェアエンジニアのネイサン・ヤングは私にこう語った。「重い男として知られていたエリーザーが合理主義者のイベントのステージ上で、かなり体重を減らすことができるかどうかを観衆に予想してもらっていたという話を聞いたのを覚えている。 そして、重大な事実が明らかになります。彼は着ていた太いスーツのジッパーを下ろしました。 彼はすでに体重を減らしていた。 彼の表向きの主張は、未来を予測するのは難しいということだったと思いますが、ほとんどの場合、なんて絶対的な伝説なんだろうと思ったのを覚えています。」

ユドコウスキーはトランスヒューマニストでした。彼の存命中に人間の脳がデジタル脳にアップロードされることになり、これは素晴らしいニュースでした。 彼は最近私に、「16 歳から 20 歳のエリーザー君」は、AI が「誰にとっても永遠に楽しいものになるだろうし、できるだけ早く構築したいと思っていた」と考えていたと語った。 2000 年には、AI 革命の促進を目的として、人工知能シンギュラリティ研究所を共同設立しました。 それでも、彼はデューデリジェンスを行うことにしました。 「なぜAIが全員を殺すのか分かりませんでしたが、この疑問を系統的に研究する必要があると感じました」と彼は言う。 「そうしたとき、ああ、私が間違っていたのではないかと思いました。」 彼はAIがどのように人類を滅ぼすかについて詳細な白書を書きましたが、彼の警告は無視されました。 最終的に、彼は自分のシンクタンクをマシンインテリジェンス研究所と改名しました。 ミリ。

AI によってもたらされる実存的脅威は常に合理主義者の中心的な問題の 1 つでしたが、急速な一連の事態を受けて、2015 年頃に支配的なテーマとして浮上しました。 機械学習の進歩。 一部の合理主義者はオックスフォードの哲学者と交流を持っていました。 トビー・オード そして ウィリアム・マッカスキル、効果的利他主義運動の創始者であり、人類にとって最も良いことを行う方法（ひいては人類の終焉を回避する方法）を研究しました。 運動間の境界はますます曖昧になっていきました。 ユドコウスキー氏、グレース氏、その他数名は世界中を飛び回り、EA カンファレンスに参加しました。そこでは、会場から笑われることなく AI リスクについて話すことができました。

破滅の哲学者は、SF を取り入れた手の込んだ仮説にこだわる傾向があります。 グレースは、オックスフォードで訓練を受けた哲学者ジョー・カールスミスを私に紹介してくれた。彼は人間のハンドラーに自分たちが安全であると信じ込ませ、乗っ取りを進める可能性のある「陰謀的なAI」についての論文を発表したばかりだった。 彼は、架空の人物が砂漠で 100 万年間レンガを積むことを強制されるという思考実験について説明しながら、照れ笑いを浮かべた。 「これは大変なことだと思います」と彼は言った。 ユドコウスキー氏は、超知能機械が私たちを脅威とみなして、（たとえば既存の自律兵器システムを強奪したり、独自の兵器システムを構築したりすることによって）私たちを殺そうとする可能性があると主張する。 あるいは、私たちの滅亡は「ついでに」起こる可能性もあります。スーパーコンピューターに自身の処理速度の向上を要求すると、スーパーコンピューターは、これを行うための最善の方法は、現在人間となっている原子も含め、近くにあるすべての原子をシリコンに変えることだと結論づけます。 しかし、AI の安全性に関する基本的な議論には、現在の Verizon 製チャットボットが突然、「ターミネーター」のデジタル スーパーヴィランであるスカイネットに変身するという想像は必要ありません。 AGI が危険であるためには、知覚力がある必要もなければ、私たちの破壊を望んでいる必要もありません。 その目的がたとえ微妙な点であっても人類の繁栄と相反するものであれば、我々はめちゃくちゃだ、と破滅者たちは言う。