1721285009
2024-07-17 17:00:00
OpenAI 近年、より強力な開発にあまりにも急いで無謀に突入しているのではないかとの批判にさらされている。 人工知能同社は、AIの安全性を真剣に考えていることを示すつもりのようだ。同社は本日、AIモデルがより有能で有用になっても研究者がAIモデルを精査するのに役立つ可能性があるという研究成果を披露した。
この新しい技術は、 AIの安全性に関するアイデア 同社がここ数週間宣伝しているこの技術は、2つのAIモデルを会話させ、より強力なAIモデルの推論をより透明化、つまり「判読可能」にすることで、人間が理解できるようにするというものだ。
「これは、 [artificial general intelligence] 「安全で有益なものです」と、この研究に携わるOpenAIの研究者であるYining Chen氏はWIREDに語った。
これまでのところ、この研究は簡単な数学の問題を解くように設計された AI モデルでテストされている。OpenAI の研究者は、AI モデルに質問に答えたり問題を解いたりするときに、その推論を説明するよう依頼した。2 番目のモデルは、答えが正しいかどうかを検出するようにトレーニングされており、研究者は、2 つのモデルをやり取りさせることで、数学を解くモデルが推論についてより率直かつ透明になる傾向があることを発見した。
OpenAI は、このアプローチの詳細を記した論文を公表している。「これは長期的な安全性研究計画の一部です」と、この研究に携わる OpenAI のもう一人の研究者、ヤン・ヘンドリック・キルヒナー氏は言う。「他の研究者もこの研究を追随し、他のアルゴリズムも試してくれることを期待しています」
透明性と説明可能性は、より強力なシステムの構築に取り組む AI 研究者にとって重要な懸念事項です。大規模な言語モデルは、結論に至った経緯について合理的な説明を提供することもありますが、重要な懸念事項は、将来のモデルでは、提供する説明がより不透明になったり、欺瞞的になったりする可能性があることです。つまり、望ましくない目標を追求しながら、それについて嘘をついたりする可能性があるのです。
本日発表された研究は、ChatGPTのようなプログラムの中核をなす大規模な言語モデルがどのように動作するかを理解するための幅広い取り組みの一環である。これは、より強力なAIモデルの透明性を高め、より安全にするのに役立つ可能性のあるいくつかの技術の1つである。OpenAIと他の企業は、 より機械的な方法 の 内部を覗き込む 大規模言語モデルも同様です。
OpenAIは、そのアプローチに対する批判を受けて、ここ数週間でAIの安全性に関する取り組みをさらに明らかにしてきた。5月、WIREDは、長期的なAIリスクの研究に専念する研究者チームが解散したことを知った。これは、共同創設者で主要な技術リーダーであるイリヤ・スツケヴァーが退任した直後のことだ。スツケヴァーは、2010年までにAIの安全性に関する取り組みを再開する理事会メンバーの1人だった。 一時的にCEOを解任されたサム・アルトマン 昨年の11月。
OpenAIは、AIの透明性を高め、より安全なものにするという約束のもとに設立された。ChatGPTが大成功を収め、強力な支援を受けたライバルとの競争が激化する中、同社が安全性よりも派手な進歩と市場シェアを優先していると非難する声もある。
ダニエル・ココタイロ氏は、OpenAIを離れ、 批判する公開書簡 同社のAI安全性への取り組みについて語る同氏は、新たな取り組みは重要だが漸進的なものであり、この技術を開発する企業にはさらなる監視が必要であるという事実は変わらないと述べている。「我々が置かれている状況は変わっていません」と同氏は言う。「不透明で、説明責任がなく、規制されていない企業が、基本的にそれを制御するための計画もなく、互いに人工超知能の構築を競っています。」
OpenAIの内部事情に詳しい別の情報筋は、公の場で話す権限がないため匿名を条件に、AI企業に対する外部からの監視も必要だと語る。「問題は、利益よりも社会の利益を優先するために必要なプロセスやガバナンスの仕組みについて、彼らが真剣に取り組んでいるかどうかだ」と情報筋は言う。「研究者に安全に関わる仕事をさせているかどうかではない」
#OpenAIが新たなAI安全性研究を宣伝批評家は良い一歩だが十分ではないと指摘