1716164343
2024-05-19 16:37:50
汚れた服は基本的に自宅で洗濯します。 しかし、これは当てはまりません OpenAI彼が設立したサンフランシスコの会社 チャットグループ生成人工知能の分野では世界で最も影響力のある人物の 1 つです。
元科学部長の辞任後 イリヤ・サツケヴァー – 明らかな視覚不適合の場合 サム・アルトマン – それは論争にもなります ヤン・ライク同社のもう一つの素晴らしい頭脳。
スツケヴァーとライケは、 OpenAI の Superalignment プロジェクトを担当する 2 人高度な AI システムを安全に調整するために 2023 年 7 月にオープン 人間の目標と価値観を持って。
要約すると、この問題に参加していた研究者のグループは、それを制御下に置くための効率的な方法を開発するべきでした。 「人工知能システムは人間よりもはるかに知能が高い」。 これについて、 スーパーアライメントを説明する文書を読みましたOpenAI は、利用可能なコンピューティング能力の 20% を割り当てることを計画していました。
それは責任ある取り組みのように思えました。 しかし 計画通りにいきませんでした。
「私は OpenAI スーパー連携の責任者でしたが、この仕事を辞めることは、私がこれまでに行った中で最も難しいことの 1 つです – X に Jan Leike が書いています – なぜなら、私たちよりも賢い AI システムをどのように駆動し制御できるかを早急に理解する必要があるからです」 ”。
「私が OpenAI に参加したのは、この種の研究を行うのに世界で最適な場所だと思ったからです」と Leike 氏は付け加えました。 「しかし、私はしばらくの間、会社のリーダーが定めた優先事項に同意できませんでした。 帯域幅の多くは、次世代モデルのセキュリティ、監視、スーパーアライメント、社会的影響への準備に費やされるべきだと私は考えています。 [di IA]。 しかしここ数カ月、私のチームはこの重要な研究に必要な計算能力を確保するのに苦労しなければなりませんでした。」
「OpenAIには人類に対する責任がある――ライク氏もそう語った――。 しかし近年、安全文化とプロセスは後回しになっています 光沢のある製品と比較して”。
Jan Leike 氏の言葉は、OpenAI の方向性の変化を強調しています。 2015年に非営利の研究所として設立ChatGpt が一般に公開されて以来、行われてきました。
チャットボットの成功と、マイクロソフトが投資した数十億ドル（現時点で 13 件）により、OpenAI は利益を追求するようになりました。
この変更の主な提案者はサム・アルトマン氏で、彼は2019年からOpenAIを率いてきたが、昨年12月に同社の取締役会から解任されたのはまさに彼がAIの商用化を推進しているのではないかとの懸念からであった。 安全性を損なう。
アルトマン氏は数日後、脅迫を行ったOpenAI従業員の強い要求により職務を再開した。 大量辞職 CEOが戻っていなかったら。
ヤン・ライク、アルトマンと彼の右腕に対する批判に対して グレッグ・ブロックマンOpenAI の創設者の 1 人は、ソーシャル メディアへの長い投稿で返信し、その中で繰り返し述べています – 要約すると – AI モデルを安全に開発する意欲。
「私たちは、考えられる将来のシナリオをすべて想像することはできないことを承知しています。 したがって、非常に緊密なフィードバック ループ、厳格なテスト、あらゆる段階での慎重な検討、世界クラスのセキュリティ、およびセキュリティと機能の調和が必要です」と彼らの「コミュニケ」には書かれています。
「私たちはまた、安全性を確保するために政府や他の関係者と協力し続けています。 AGI (汎用人工知能) への道をナビゲートする方法に関する実証済みのマニュアルはありません。 私たちは、経験的な理解が今後の道筋を描くのに役立つと考えています。 私たちは、多大な利益を得ることと、深刻なリスクを軽減することに取り組むことの両方を信じています。 私たちは自分たちの役割を非常に真剣に受け止めており、私たちの行動に対するフィードバックを慎重に評価しています。」
#OpenAIAIの安全性を担当するチームが崩壊