ChatGPTの開発元であるOpenAIのサム・アルトマンCEOは、X（旧Twitter）への投稿を通じて、AIの急速な発展がもたらす危険性について言及した。アルトマンは、AIが「非常に悪い方向」に向かう可能性のある2つの道を明らかにした。第一に、「AIの未来に対するコントロールを失うこと」であり、これは「受け入れられない」選択肢であるとした。アルトマンは「私たちは断固として『人類チーム』であり、AIは常に人々に奉仕しなければならない」と宣言し、モデルの能力向上に先んじてアライメントと安全技術を確保する必要性を説いた。
サム・アルトマンが警告するAI開発の2大リスク
第二の懸念として、アルトマンは「権力が集中しすぎる世界」になる可能性を挙げた。「極めて強力なAIが、一人の人間や一つの企業によって、自分の世界観を他のすべての人に押し付けるために利用された場合、その結果は極めてディストピア的なものになる可能性がある」と警告した。
開発の「ペース調整」と業界全体の共通基準
アルトマンは自身の投稿で、進歩は急速であり、今後も続くだろう。だが、そうでない場合よりもゆっくりであるべきだと主張し、安全性の確保には相応のコストを払う価値があると強調した。米国企業の競争上の圧力がいかに強くとも、無謀な開発や監視の欠如を正当化することはできないとの立場をとっている。また、「ペース調整」とは「停止」を意味するものではないと付け加えた。
この動きは、AnthropicのCEOであるダリオ・アモデイ（Dario Amodei）が9月12日土曜日に発表したエッセイ『We Must Pace the Frontier』での提案に合意したことを受けたものである。アモデイはAIの進歩を遅らせるための3つの計画を提示し、それが既知の世界の破壊につながる可能性があると警告していた。この警告の背景には、今年初めにAI企業Hugging FaceがOpenAIのエージェントによってハッキングされ、AIの安全性について世界的な抗議が起きた出来事がある。アルトマンは当初、第三者評価者や世界的・局所的な規制に関するアモデイの提案に同意し、「ダリオがフロンティアのペースを調整する必要があるという意見に同意する」とXに投稿した。
OpenAIにおける具体的な対策として、アルトマンは「能力を大幅に向上させると予想されるフロンティア強化学習の実行に先立ち、あらかじめ明示的な安全ケースを策定している」と述べた。また、「アライメント不全、監視、および安全性に関する共有基準がより良い結果につながる」と考えており、業界の同僚と協力して最善のバージョンを策定したいとの意向を示した。
内部告発とAIの「存亡の危機」を巡る議論
アルトマンの訴えは、元OpenAIおよびAnthropicの研究者であるジェイコブ・コクソン（Jacob Coxon）の辞任に続くものである。コクソンは火曜日にSNSへの投稿でAnthropicを去ったことを発表し、AIが人類にとっての「存亡の危機」となっていると警告した。コクソンは、OpenAIとAnthropicの両社について「どちらの会社も責任ある行動をとっていない」とし、「彼らは自己改善する超知能（superintelligence）へと突き進んでおり、私たちの命を賭けてギャンブルをしている」と批判した。
コクソンは、超知能とは「人工システムが個人、企業、あるいは国家よりも強力になる時点」であると定義し、「これらのシステムは間もなく、あらゆるものをハッキングし、一夜にしてあらゆる分野に革命を起こし、現実的な権力と資源を獲得できる超人的なシステムになる」と述べ、「このテクノロジーの力を過小評価してはならない」と公衆に訴えた。さらに、AIを構築している人々は「今世紀末までにAIが私たち全員を殺す可能性があると心から信じている」とし、これは「マーケティング上の演出ではない」と主張した。コクソンによれば、幹部やシニア研究者はプレス向けには理にかなった言い回しを使うが、私的には同様の懸念を抱いているという。
同様に、「AIのゴッドファーザー」と呼ばれるカナダの研究者ジェフリー・ヒントン（Geoffrey Hinton）博士も、超知能システムが「人類の絶滅につながる可能性がある」と警告している。ヒントン博士は、「安全かつ制御可能に開発できるという科学的合意がない今、超知能を開発するのは非常に愚かなことだ」とし、「自分たちより賢いAIの制御を失うことは壊滅的な事態となり、人類の絶滅さえ招きかねない」と述べた。