1747833689
2025-05-21 11:00:00
ダリオ・アモデイ‘s aiの安全条件は、いくつかのものと不安になっています サム・アルトマンの行動。その後まもなく Openai‘s マイクロソフト 取引は2019年にインクが施され、そのうちの何人かは、Altmanがマイクロソフトに行った約束の範囲を発見するためにun然としました。取引の条件は、彼らがAltmanから理解したものと一致しませんでした。 OpenaiのモデルでAIの安全性の問題が実際に発生した場合、彼らは心配しています。これらのコミットメントは、モデルの展開を防ぐことを不可能ではないにしても、はるかに困難になります。 Amodeiの条件は、Altmanの誠実さについて深刻な疑念を抱き始めました。
「私たちは皆、実用的な人々です」とグループの人は言います。 「私たちは明らかにお金を集めています。私たちは商業的なことをするつもりです。サムのような多くの取引をしている人が、「大丈夫、取引をしましょう、物事を交換しましょう、次のことを交換しようとしています」そして、もしあなたが私のような人なら、あなたは「私たちは完全に理解していないことを交換している」と言っています。不快な場所に私たちを託しているように感じます。」
これは、会社全体でさまざまな問題をめぐる成長する妄想を背景にしたものでした。 AIの安全条件内では、強力な不整合システムが悲惨な結果につながる可能性があるという強化された証拠と見なされたものに集中していました。特に奇妙な経験の1つは、それらのいくつかをやや緊張させました。 2019年、パラメーターの約2倍でGPT -2の後に訓練されたモデルでは、研究者のグループがAmodeiが望んでいたAIの安全作業を進め始めました。人間のフィードバック（RLHF）からの強化学習をテストし、モデルを陽気でポジティブなコンテンツを生成し、攻撃的なものから遠ざける方法を導く方法としてテストしました。
しかし、ある夜遅く、研究者は、RLHFプロセスを一晩走らせる前に、彼のコードに単一のタイプミスを含むアップデートを作成しました。そのタイプミスは重要なものでした。それは、RLHFプロセスを逆に動作させ、GPT -2を生成するようにプラスのサインにひっくり返したマイナスサインでした もっと より少ないではなく、攻撃的なコンテンツ。翌朝までに、タイプミスはその大混乱を引き起こし、GPT -2は非常にわいせつで性的に露骨な言語ですべてのプロンプトを完了していました。それは陽気でした、そしてまた懸念していました。エラーを特定した後、研究者はコメントでOpenaiのコードベースに修正をプッシュしました。ユーティリティミニマイザーを作成しないでください。
スケーリングだけでAIの進歩をもたらす可能性があるという認識に部分的に促進され、多くの従業員は、異なる企業がOpenaiの秘密に巻き込まれた場合に何が起こるかを心配していました。 「私たちのものがどのように機能するかの秘密はご飯の粒に書くことができます」と彼らはお互いに言います。 規模。同じ理由で、彼らは悪い俳優の手に着陸する強力な能力を心配していました。リーダーシップはこの恐怖に頼り、中国、ロシア、北朝鮮の脅威を頻繁に引き上げ、AGI開発が米国の組織の手に留まる必要性を強調しました。時には、アメリカ人ではなかったこのランク付けされた従業員でした。昼食時に、彼らは疑問に思うでしょう、なぜそれが米国の組織でなければならなかったのですか？元従業員を覚えています。なぜヨーロッパからのものではないのですか？なぜ ない 中国からの1つ？
AIの研究の長期的な意味について哲学するこれらの困難な議論の中で、多くの従業員は、オープンライとマンハッタンプロジェクトの間のアルトマンの初期の類推に頻繁に戻ってきました。 Openaiは本当に核兵器に相当するものを構築していましたか？それは、それがこれまでに大部分が学術的な組織として築いた、やめた、理想主義的な文化とは奇妙な対照でした。金曜日に、従業員は音楽とワインの夜のために長い1週間後にキックバックし、夜遅くにオフィスのピアノを演奏する同僚の回転キャストのなだめるような音に巻き込まれました。
#サムアルトマンがOpenaiのcounterSurveillance監査を求めたとき