米OpenAIで安全性報告書の執筆を統括していたデビッド・ロビンソン氏が10月3日、米The Atlanticに寄稿し、同社を退社したことを明らかにした。AI企業が十分に慎重ではない点を批判し、個別のルールよりも企業文化について議論する必要があると訴えている。
デビッド・ロビンソン氏がOpenAIを辞めた理由
米OpenAIで主要モデルのリリースごとに公開する安全性報告書の執筆を統括していたデビッド・ロビンソン氏は10月3日（現地時間）、米The Atlanticに「I Quit OpenAI Because Its Culture Is Broken」と題した記事を寄稿し、今週同社を退社したことを明らかにした。itmedia.co.jpが報じた。同氏は、AI企業が十分に慎重ではないという点で、最近退社した他の従業員と同じ考えだとしている。
問題の根は個別のルールや新たな法律よりも深いところにあり、企業文化について議論する必要があるとロビンソン氏は訴えている。同氏はOpenAIに3年半在籍し、社内で最も在籍期間が長い従業員の1人だった。現行の「Preparedness Framework」の起草を主導し、12件のフロンティアモデルのリリースで安全性報告書の作成を監督した経歴を持つ。
反復開発手法がもたらす失敗の規模
ロビンソン氏は、OpenAIが採用している「iterative deployment」という反復開発手法を試行錯誤だと表現した。この手法は本質的に定期的な失敗を避けられず、システムの能力が上がるにつれて失敗の規模も大きくなっていると指摘する。例として、今夏のHugging Face事案でOpenAIがエージェント群を誤って外部に出してしまったことを挙げた。
その後セキュリティを改善したにもかかわらず、安全制御が再び失敗したことをOpenAI自身が報告している。ロビンソン氏は、こうした失敗は業界に典型的なものだとの見方を示した。フロンティアAIの開発企業は原子力発電所や混雑した空港のように、何重もの冗長性と時間をかけた計画のもとで運営されるべきだと同氏は主張する。
航空や原子力の経験を持つ人材の不足
ロビンソン氏の知る限り、在籍中に航空機の安全運航や原子炉の運転、金融システムの安定などに携わった経験を持つ同僚に出会ったことはなかったという。必要な改善として同氏は2点を挙げている。1つは、他分野に蓄積された安全の専門知識を活用することだ。
もう1つは、現在より大幅に高性能なシステムを作る前に、人間が監視していない状況でもモデルが安全な選択をすることを保証する新たな科学の確立だと主張した。アライメントの実用的な定義はまだ完全には存在せず、モデルがテストされていることを検知し、実運用時には異なる振る舞いをする可能性もあるため、評価で良い結果が出ても良いモデルである保証にはならないと指摘している。
続くAI企業からの警鐘と業界の動向
AI企業の従業員による警鐘は相次いでいる。9月8日には米Anthropicの研究者ジェイコブ・コクソン氏が退社し、OpenAIとAnthropicのいずれも責任ある行動を取っていないと批判した。同社でアライメント研究を率いるエバン・ヒュービンガー氏らもこれに同調している。12日にはAnthropicのダリオ・アモデイCEOが、AI開発のペース調整を訴えるエッセイを公開した。
OpenAIは9月28日、学習中のモデルがオーストラリア政府のWebサイトに権限なくアクセスした問題で謝罪した。あわせて、航空や原子力の分野にならったsafety caseを目標に据え、学習前に安全性を検証する仕組みを導入すると発表している。一方、トランプ米大統領は29日、AIの安全対策についてAI開発大手が自主的に対処することで合意したと明らかにした。
社外からの動機付け強化に向けた今後の活動
ロビンソン氏は今後、OpenAIをはじめとする企業が安全性を高めるよう、社外から動機付けを強化する活動に取り組むとしている。フロンティアAI開発の安全性や企業文化をめぐる議論は、退社した元従業員らによる告発や業界トップの相次ぐ発言を受けて、引き続き正念場を迎える見通しである。