OpenAIの内部告発者が無謀で秘密主義的な文化を語る

サンフランシスコの人工知能企業OpenAIの内部関係者グループが、同社がこれまでで最も強力なAIシステムの構築に注力している無謀さと秘密主義の文化にあると告発している。

このグループにはOpenAIの現従業員と元従業員9名が参加しており、同社はAIシステムが危険になるのを防ぐのに十分な対策を講じていないという共通の懸念を抱き、ここ数日結集している。

メンバーによると、非営利の研究室として始まり、 ChatGPTの2022年リリースは、人間ができることなら何でもできるコンピュータープログラムを指す業界用語である汎用人工知能（AGI）の構築に取り組んでおり、利益と成長を優先している。

また、OpenAIは、退職する従業員に署名を求める制限的な非中傷協定を含む強硬な戦術を使って、従業員がテクノロジーに関する懸念を表明するのを阻止してきたとも主張している。

「OpenAIはAGIの構築に非常に意欲的で、その分野で最初になろうと無謀な競争を繰り広げている」と、OpenAIのガバナンス部門の元研究者で同グループの主催者の一人であるダニエル・ココタジロ氏は語った。

同グループは、 火曜日の公開書簡 OpenAIを含む大手AI企業に対し、透明性の向上と内部告発者に対する保護の強化を求める。

他のメンバーには、2月にオープンAIを去った研究エンジニアのウィリアム・サンダース氏と、オープンAIの元従業員であるキャロル・ウェインライト氏、ジェイコブ・ヒルトン氏、ダニエル・ジーグラー氏の3名がいる。ココタジロ氏によると、オープンAIの現従業員数名が、同社からの報復を恐れて匿名で書簡に賛同したという。グーグルの中央AI研究所であるグーグル・ディープマインドの現従業員1名と元従業員1名も署名した。

OpenAIの広報担当リンジー・ヘルド氏は声明で次のように述べた。「当社は最も有能で安全なAIシステムを提供してきた実績を誇りに思っており、リスクに対処するための科学的アプローチに自信を持っています。この技術の重要性を考えると、厳密な議論が不可欠であることには同意しており、今後も世界中の政府、市民社会、その他のコミュニティと連携していきます。」

グーグルの広報担当者はコメントを控えた。

このキャンペーンは、OpenAIにとって厳しい時期に行われた。同社はまだ、昨年のクーデター未遂事件から立ち直りつつある。当時、同社の取締役会は、サム・アルトマン最高経営責任者（CEO）の率直さを懸念して同氏を解任することに投票した。アルトマン氏は数日後に復帰し、取締役会は新たなメンバーで再編された。

同社はまた、著作権で保護された作品を盗用してモデルを訓練したとして同社を非難するコンテンツ制作者との法廷闘争にも直面している。（ニューヨークタイムズ紙） OpenAIを訴えた 昨年、同社とそのパートナーであるマイクロソフトを著作権侵害で訴えた。そして最近発表された超リアルな音声アシスタントは 公衆の面前での口論で傷ついた ハリウッド女優のスカーレット・ヨハンソンは、OpenAIが許可なく自分の声を真似したと主張した。

しかし、OpenAI が安全性についてあまりに軽率だったという非難ほど根強いものはありません。

先月、2人の上級AI研究者、イリヤ・スツケヴァーとヤン・ライケが、不祥事でOpenAIを去った。 OpenAIの役員を務めた アルトマン氏の解雇に賛成票を投じた同氏は、強力なAIシステムの潜在的リスクについて警鐘を鳴らしていた。安全意識の高い従業員の中には、同氏の辞任を後退と捉える者もいた。

強力なAIモデルのリスク管理に焦点を当てたOpenAIの「スーパーアラインメント」チームをスツケヴァー博士とともに率いてきたライケ博士も退任した。 公開投稿シリーズ ライケ博士は退任を発表し、「安全文化とプロセスは、派手な製品に後回しにされてきた」と考えていると述べた。

Sutskever 博士も Leike 博士も、元従業員が書いた公開書簡に署名しなかった。しかし、彼らの退職は、他の OpenAI 元従業員に声を上げるきっかけを与えた。

「私がオープンAIに参加したとき、私は『世の中に何かを出して、何が起こるかを見て、その後で修正しよう』という姿勢で参加したわけではない」とサンダース氏は語った。

元従業員の中には、近年AIによる実存的脅威を防ぐことに関心を持つようになった功利主義に触発された運動である効果的利他主義と関係のある人もいる。批評家たちはこの運動を 終末シナリオを推進する 制御不能な AI システムが人類を支配し、絶滅させる可能性があるといった、テクノロジーに関する懸念。

31歳のココタジロ氏は2022年にガバナンス研究者としてOpenAIに入社し、AIの進歩を予測するよう依頼された。控えめに言っても、同氏は楽観的ではなかった。

AI 安全組織で以前働いていたとき、彼は AGI が 2050 年に到来するかもしれないと予測していました。しかし、AI が急速に進歩しているのを見て、彼はそのタイムラインを短縮しました。現在、彼は AGI が 2027 年まで、つまりわずか 3 年までに到着する可能性は 50 パーセントであると考えています。

彼はまた、高度な AI が人類を破滅させるか、あるいは壊滅的な被害を与える可能性 (AI 界では「p(doom)」と略されることが多い悲惨な統計) は 70 パーセントであると考えている。

オープンAIでは、同社が安全プロトコルを整備していたにもかかわらず、そのプロトコルには、一般公開前に新しいモデルに大きなリスクがないか審査することになっていた「デプロイメント安全委員会」と呼ばれるマイクロソフトとの共同作業も含まれていたが、それによって何かが遅くなることはほとんどないようだったとココタジロ氏は指摘する。

例えば、2022年にマイクロソフトはインドでBing検索エンジンの新バージョンをひそかにテストし始めたが、OpenAIの従業員の中には、当時未発表だったOpenAIの最新大規模言語モデルGPT-4が含まれていると信じている者もいたという。ココタジロ氏は、マイクロソフトが新モデルをテストする前に安全委員会の承認を得ていなかったと聞かされ、委員会がテストについて知った後、 一連の報告書 Bing がユーザーに対して奇妙な行動を取っていると主張したが、マイクロソフトが Bing をより広範囲に展開するのを止めることはできなかった。

マイクロソフトの広報担当フランク・ショー氏は、こうした主張に異議を唱えた。同氏は、インドでのテストではGPT-4やOpenAIのモデルは使用されていないと述べた。マイクロソフトがGPT-4に基づく技術を初めてリリースしたのは2023年初頭であり、安全委員会の前任者によって審査され承認されたと同氏は述べた。

ココタジロ氏によると、結局、非常に心配になり、昨年、同社は「安全策に転じ」、モデルの改善に突き進むのではなく、AIのリスクに備えることにもっと時間とリソースを費やすべきだとアルトマン氏に伝えたという。アルトマン氏は同氏の意見に同意すると主張していたが、大して変化はなかったとココタジロ氏は語った。

4月に彼は辞職した。チームに送った電子メールの中で、彼は、OpenAIのシステムが人間レベルの知能に近づいているため「OpenAIが責任ある行動をとるという信頼を失った」ため辞職すると述べた。

「世界はまだ準備ができていない、そして我々も準備ができていない」とココタイジョ氏は書いている。「そして我々がそれにも関わらず突き進み、自分たちの行動を正当化しているのではないかと懸念している。」

OpenAI 先週言った 同社は新たな主力AIモデルのトレーニングを開始しており、新モデルやその他の将来の技術に関連するリスクを調査するために新たな安全・セキュリティ委員会を結成していると述べた。

ココタジロ氏は退職にあたり、退職する従業員向けのオープンAIの標準書類への署名を拒否した。その書類には、会社について否定的な発言を禁じる厳格な非中傷条項が含まれており、違反すると既得権益を剥奪されるリスクがある。

署名を拒否すれば、多くの従業員が数百万ドルを失う可能性がある。ココタジロ氏によると、既得株式は約170万ドルで、これは同氏の純資産の大部分を占めており、同氏はそのすべてを放棄する覚悟があるという。

（先月、小規模な火災が発生した。 Voxが報じた これらの契約のニュースを知った同社は、元従業員から既得権益を回収したことは一度もなく、今後も回収しないと主張した。アルトマン氏は、契約について知らなかったことを「心から恥ずかしく思う」と述べ、同社は標準書類から非中傷条項を削除し、元従業員を契約から解放すると述べた。

ココタジロ氏と他のOpenAI元従業員は公開書簡の中で、OpenAIや他のAI企業における非中傷禁止契約や秘密保持契約の使用をやめるよう求めている。

「広範な秘密保持契約により、これらの問題に対処できていない可能性のある企業以外には、懸念を表明することができない」と彼らは書いている。

また、彼らはAI企業に対し、「オープンな批判の文化をサポート」し、従業員が安全に関する懸念を匿名で報告できるプロセスを確立するよう求めている。

彼らは、著名な法学者で活動家のローレンス・レッシグを無償弁護士として雇った。レッシグ氏はまた、フェイスブックの元従業員で、 内部告発者になった そして、その会社が安全よりも利益を優先していると非難した。

レッシグ氏はインタビューで、従来の内部告発者保護は違法行為の報告に適用されるのが一般的だが、AI技術の重要性を考えると、AI企業の従業員がリスクや潜在的な危害について自由に話し合えることが重要だと述べた。

「従業員は安全を守るための重要な防衛線であり、報復なしに自由に発言できないのであれば、そのチャンネルは閉鎖されるだろう」と彼は語った。

オープンAIの広報担当ヘルド氏は、同社には匿名の誠実性ホットラインなど「従業員が懸念を表明できる手段」があると述べた。

ココタジロ氏と彼のグループは、より強力な AI システムを備えた世界に備えるには自主規制だけでは十分ではないと懐疑的だ。そのため彼らは、議員らに業界を規制するよう求めている。

「このプロセスを管理するための、民主的に説明責任を負い、透明性のある何らかの統治構造が必要だ」とココタジロ氏は語った。「いくつかの異なる民間企業が互いに競争し、すべてを秘密にしておくのではなく」