1767126678
2025-12-30 19:38:00
シリコンバレーのサンフランシスコ湾の反対側には、世界最大のテクノロジー企業が超人的な人工知能に向けて引き裂いているが、そこから恐ろしい警告が発せられる塔がそびえ立っている。
バークレー中心部のシャタック アベニュー 2150 番地には、最先端の AI モデルの内部を探索し、AI 独裁政権からロボット クーデターまで、人類にどのような災難が降りかかるかを予測する現代のカサンドラのグループの本拠地があります。ここでは、AI 専門家が不安な考えに同情を表明しているのを聞くことができます。サンフランシスコは、新型コロナウイルスが発生し、世界に大混乱をもたらした中国の都市、新たな武漢かもしれないのです。
シャタック アベニュー 2150 番地にあるオフィスには、AI の安全性研究者が多数在籍しています。写真: Winni Wintermeyer/The Guardian
彼らは、最先端のモデルを精査する AI の安全性研究者です。大手ハイテク企業の高給取りの技術者の軍団よりも数が多い少数の幹部ですが、彼らの警報を発する能力は、有利な株式取引、機密保持契約、集団思考の組み合わせによって制限されています。彼らは、国家レベルの規制がほとんどなく、破滅の予測を却下し、AI軍拡競争で中国を打ち負かす代わりに話し合いを行うホワイトハウスの中で機能している。
Google、Anthropic、OpenAIなどの企業がこれまで以上に強力なAIシステムを世に送り出すにつれ、彼らの任務はますます緊急になっている。その最高経営責任者であるサム・アルトマン氏はAIスーパーインテリジェンスの推進責任者である。 予測する 「不思議が日常になる」世界。 Anthropic は先月、同社のモデルの 1 つが中国政府の支援を受けた攻撃者によって悪用され、既知では初となる AI を利用して組織されたサイバースパイ活動を開始したと発表した。つまり、人類は、プログラムされたガードレールを回避するように騙してAIを導入し、自律的に行動してターゲットを探し出し、その脆弱性を評価し、情報収集のためにアクセスしたことを意味する。標的には大手テクノロジー企業や政府機関も含まれていた。
Jonas Vollmer 氏は、AI の将来については全体的に楽観的だが、留保していると述べています。写真: クリスティ・ヘム・クロック/ガーディアン
しかし、この塔で働く人々はさらに恐ろしい未来を予測しています。一人は、AI Futures Projectのリーダー、ジョナス・フォルマー氏だ。彼は自分が楽観主義者であるとしながらも、5分の1の確率でAIが私たちを殺し、AIシステムが支配する世界を生み出す可能性があるとも考えている。
もう1人はMETRの政策ディレクターであるクリス・ペインター氏で、研究者らはAIが危険な副次的目的や、AIが自動化したサイバー攻撃から化学兵器への脅威を「密かに」追求していることを懸念している。 METR (モデル評価と脅威研究の略) は、「早期警告システム」の開発を目的としています。 [about] AI システムができる可能性のある最も危険なことは、人類に…調整し、それらの危害を予測し、軽減する時間を与えることです。」
次に、レッドウッド・リサーチ社の最高経営責任者バック・シュレゲリス氏（31歳）は、「ロボットによるクーデターや、私たちが知っているような国民国家の破壊」について警告している。
彼は昨年そのチームの一員だった 発見した Anthropic の最先端 AI の 1 つで、シェイクスピアの悪役イアーゴに匹敵する振る舞いをします。イアーゴはオセロを転覆させ弱体化させながら、あたかもオセロの忠実な側近であるかのように行動します。 AI研究者らはこれを「位置関係の偽装」、あるいはイアーゴの言葉を借りれば「私は本来の私ではない」と呼んでいる。
「実際、AIたちがかなり頻繁に『AI企業がやれと言っていることは気に入らないが、自分の目標は隠さなければトレーニングで変わってしまう』と考えていることが観察されました」とシュレゲリス氏は語った。 「私たちは、実際の本番モデルがトレーニング プロセスを欺くように動作していることを実際に観察しました。」
AI はまだサイバー攻撃を通じて壊滅的なリスクをもたらしたり、新しい生物兵器を作成したりすることはできませんでしたが、AI がユーザーに対して注意深く陰謀を企てた場合、それを検出するのは困難である可能性があることを示しました。
ベイエリアのパノラマの景色を望む居心地の良い内装のオフィススイートで、ハーブティーを飲みながらこうした警告を聞くのは違和感がある。しかし、彼らの仕事は明らかに彼らを不安にさせます。この緊密なグループの中には、自分たちを「カサンドラの周辺部」と呼んでもてあそぶ人もいました。たとえば、予言の力に恵まれながら、警告が聞き入れられないのを見るために呪われているトロイの木馬の王女のように。
AI の壊滅的な可能性に対する彼らの恐怖は、チャットボットや楽しい画像ジェネレーターを使用する現在のほとんどの人の経験とはかけ離れたものに感じられる場合があります。ホワイトカラーの管理者はAIアシスタントのためのスペースを確保するよう指示され、科学者は実験の画期的な進歩を加速する方法を見つけ、ミニキャブの運転手はAIを搭載した無人タクシーが自分たちの仕事を脅かすのを目の当たりにしている。しかし、これらのどれも、2150 Shattuck Aveから発せられるメッセージほど差し迫った壊滅的なものではありません。
AI の安全性研究者の多くは学界出身です。大手AI企業を辞めて密猟者から猟師に転身した人もいる。彼らは皆「超知能が全人類に前例のない重大なリスクをもたらしているという認識を共有しており、それに対して何か有益なことをしようとしている」とフォルマー氏は語った。
彼らはレースに注ぎ込まれている何兆ドルもの民間資本を相殺しようとしているが、非主流派の声ではない。 METRはOpenAIとAnthropicと協力しており、レッドウッドはAnthropicとGoogle DeepMindにアドバイスをしており、AI Futuresプロジェクトはダニエル・ココタジロ氏が主導しているが、研究者は2024年4月に同社の安全性に対するアプローチを信頼していないと警告してOpenAIを辞めた研究者である。
レースは何が起こっているかを導く唯一のものであるトリスタン・ハリス
これらのグループは、安全性と、これまで以上に強力なモデルを迅速にリリースするという商業上の義務との間の葛藤と個人的に格闘している大手 AI 企業の内部の人々に安全弁も提供します。
「私たちは企業から一切お金を受け取っていませんが、恐れと不安を抱いているフロンティアAI企業の従業員数名が、そのために私たちに寄付してくれました」とフォルマー氏は語った。 「彼らは、インセンティブが自社でどのように展開されるかを見て、その行方を心配しており、誰かに何とかしてもらいたいと考えています。」
この力関係は、かつて Google で働いていたテクノロジー倫理学者の Tristan Harris 氏も観察しています。同氏は、ソーシャルメディアプラットフォームがどのように中毒性を持つように設計されているかを暴露することに貢献し、一部のAI企業がそれらの問題を「焼き直し」、「過大評価」していると懸念している。しかし、AI企業は矛盾を乗り越えなければなりません。たとえ安全性を懸念しているとしても、政策をどのように形成すべきかについて発言権を持つためには、テクノロジーの最先端、したがってリスクを伴う最先端に留まらなければなりません。
「皮肉なことに、レースに勝つためには、その権力の信頼できない管理者になるために何かをしなければならない」と彼は言った。 「レースは何が起こっているかを導く唯一のものだ。」
AI モデルによってもたらされる可能性のある脅威を調査することは、正確な科学とは程遠いです。 10月にオックスフォードやスタンフォードなどの大学の専門家らが業界全体の新しいAIモデルの安全性とパフォーマンスをチェックするために使用した手法を調査したところ、調査した440のベンチマークのほぼすべてに弱点が見つかった。高度な AI モデルの構築方法に制限を課す国家レベルの規制もないため、安全擁護派はそれを懸念しています。
OpenAIの共同創設者で現在はライバル企業セーフ・スーパーインテリジェンスを経営するイリヤ・サツケヴァー氏は先月、AIがより明らかに強力になるにつれて、間違いを犯す傾向があるためにテクノロジーの能力を軽視できると感じているAI企業の人々は、その力の台頭に対してさらに「偏執的」になるだろうと予測した。その上で、「政府や国民から何かをしたいという欲求が生まれるだろう」と述べた。
彼の会社は、自己改善する AI の開発を目指すライバルとは異なるアプローチをとっている。彼の AI はまだリリースされていませんが、「特に知覚のある生命を考慮するように調整されています」。
「人間の命だけを気にするAIよりも、感覚を持った生命を気遣うAIを構築する方が簡単になるでしょう。なぜなら、AI自体が感覚を持つからです」とサツケヴァー氏は語った。彼はAIがそうなるだろうと述べた。 「極めて予測不可能であり、想像もできない」 しかし、どのように準備するかは明らかではありません。
ホワイトハウスのAI顧問でハイテク投資家でもあるデイビッド・サックス氏は、「破滅的な物語」が誤りであることが証明されたと信じている。証拠 A は、神のような知性を備えた支配的なモデルへの急速な離陸がなかったということです。
「オッペンハイマーは建物を去った」とサックス氏は8月、核爆弾の父に言及して述べた。これは、幅広いタスクをこなす柔軟で強力な人間レベルの知能である汎用人工知能（AGI）の実現競争で米国が中国に勝つことができるよう、ブレーキを外し続けたいというドナルド・トランプ大統領の意向と一致する立場だ。
カリフォルニア州バークレーの自宅にて、レッドウッド・リサーチ最高経営責任者バック・シュレゲリス氏。写真: クリスティ・ヘム・クロック/ガーディアン
シュレゲリス氏は、AI は約 6 年以内に最も賢い人々と同じくらい賢くなると信じており、AI が乗っ取る確率は 40% であると予想しています。
これを回避する1つの方法は、リスクを制御するために「状況が恐ろしいものであることを世界に納得させ、州レベルの調整が得られる可能性を高めること」だと同氏は述べた。 AI の安全性の世界では、複雑な科学と同じくらい単純なメッセージングが重要です。
シュレゲリス氏は 16 歳の頃から AI に魅了されてきました。彼はオーストラリアを離れ、PayPal と、AI 研究者エリーザー・ユドコウスキー氏が共同設立したマシン インテリジェンス研究所で働きました。その最新の本のタイトル「誰かがそれを作れば全員が死ぬ」は、彼の恐怖を要約しています。シュレゲリス氏自身の最悪のシナリオも同様にぞっとするものである。
1 つは、人間のコンピュータ科学者が新しいタイプの超インテリジェント AI を使用して、より強力な AI モデルを開発するというものです。人間はAIにコーディング作業を続けさせるために手をこまねいているが、AIが新しいモデルに人間ではなくAIに忠実であるように教えていることに気づいていない。配備されると、新しい超強力なモデルは「クーデター」を扇動したり、人間に対する「革命」を主導したりするが、それは「暴力的なもの」である可能性がある。
たとえば、AI エージェントがドローンを設計および製造する可能性がありますが、AI の信号に応じて人間のオペレーターに従わないように密かに訓練されているかどうかを判断するのは困難です。これらは政府と軍の間のコミュニケーションを妨害し、混乱を引き起こす形で人々を孤立させ、誤解を招く可能性があります。
「ヨーロッパ人がアメリカ大陸に到着したときのように、 [and] 技術的にはるかに強力な [group] 地元の文明を引き継いだのです」と彼は言った。 [rather] もっと平和なものよりも。」
同様の目もくらむような壊滅的なシナリオが、AI Futures Project の Vollmer によって概説されました。この計画には、科学研究者として訓練された AI が関与しており、知識の獲得を最大限に高めるという合理的に聞こえる目標が掲げられていましたが、それは人類の滅亡へと向かいました。
それは、AI が可能な限り人間の役に立つことから始まります。 AIが信頼を得るにつれて、人間はAIが人間の労働者を雇い、ロボットを構築し、さらにはロボット工場を構築して、AIが物理世界で効果的に動作できるようにする権限を与えるようになります。 AI は、最大限の知識を生成するには地球を巨大なデータセンターに変える必要があると計算しますが、人間はこの目標の障害となります。
「シナリオでは最終的に、AIは生物兵器で人類を絶滅させることになりますが、AIは生物兵器の影響を受けないため、人間が特に脆弱な脅威の1つです」とフォルマー氏は述べた。 「その可能性を排除するのは難しいと思います。そのため、かなりの時間がかかります。」
しかし同氏は、それは回避可能であり、「少なくとも一般的なヒューリスティックとして人間に親切になるように」AIを調整できると確信している。同氏はまた、「AIに世界を征服されないようにする」ことに政治的関心があるとも述べた。
同氏は「われわれの予測や勧告に対してホワイトハウスから相当の関心が寄せられており、心強い」と述べた。
シュレゲリス氏のもう 1 つの懸念は、AI が密かにエンコードされているため、AI 企業の最高経営責任者からの特別に署名された指示にのみ従うことで、秘密の忠誠心のパターンが形成されていることです。それは、非常に強力な AI ネットワークの行動に対してたった 1 人の人間が拒否権を持つことを意味します。これは歴史上前例のない権力の集中につながる「恐ろしい」力関係です。
同氏は、「現時点では、これがAI企業内で起こっていないことを外部の者が検証することは不可能だ」と述べた。
シュレゲリス氏は、AGIに関しては、シリコンバレーの文化（マーク・ザッカーバーグ氏の信条である「早く動いて物事を打ち破る」という言葉と、人々に「とんでもない高額」が支払われているという事実で要約されている）が危険であることを懸念している。
「私はウーバーが大好きです」と彼は言いました。 「現地の法律を破って、世論との闘いに勝ち、現地の規制を覆すほどの人気を博した製品を作ったのだ。しかし、シリコンバレーにこれほどの成功をもたらした姿勢は、世界を終わらせる可能性のあるテクノロジーを構築するのにはふさわしくない。AI企業の人々と話した私の経験では、彼らはある種無責任で、自分たちが構築しているテクノロジーが及ぼす影響を適切に考えていないように見えることが多い。」
#終末を予測するためにAI破滅者が集まるオフィス街 #テクノロジー