1748924233
2025-06-03 04:00:00
人工知能の先駆者は、人を欺こうとする不正なシステムを見つける「正直な」AIの開発に特化した非営利団体を立ち上げました。
AIの「ゴッドファーサー」の1人と呼ばれる有名なコンピューター科学者であるYoshua Bengioは、Lawzeroの社長になります。Lawzeroは、1億ドル（7億4,000億ポンド）の武器レースを引き起こした最先端のテクノロジーの安全な設計に取り組む組織です。
約3,000万ドル以上の資金から12人以上の研究者の資金から始めて、ベンギオは、人間の介入なしでタスクを実行するAIエージェントに対するガードレールとして機能する科学者AIと呼ばれるシステムを開発しています。
現在のAIエージェントのスイートを、人間を模倣し、ユーザーを喜ばせようとする「俳優」として説明していると、彼は科学者AIシステムは、悪い行動を理解して予測できる「心理学者」のようなものだと述べました。
「私たちは、正直で欺cept的ではないAISを構築したいと考えています」とベンギオは言いました。
彼は次のように付け加えました。「自己も目標もない機械を想像することは理論的には可能です。それは、多くのことを知っている科学者のように、純粋な知識マシンだけです。」
ただし、現在の生成AIツールとは異なり、ベンギオのシステムは決定的な答えを提供せず、代わりに答えが正しいかどうかの確率を与えます。
「答えについて確信が持てないという謙虚な感覚があります」と彼は言いました。
AIエージェントと並んで展開されたベンギオのモデルは、自律システムによって潜在的に有害な行動にフラグを立てます。
科学者AIは、「エージェントの行動が害につながる確率を予測します」と、その確率が特定のしきい値を超えている場合、そのエージェントの提案されたアクションがブロックされます。
Lawzeroの最初の支援者には、AI Safety Body The Future of Life Institute、Skypeの設立エンジニアであるJaan Tallinn、および元Googleの最高経営責任者Eric Schmidtによって設立された研究機関であるSchmidt Sciencesが含まれます。
就業日のセットを取得します – 毎朝必要なすべてのビジネスニュースと分析を指摘します
プライバシー通知： ニュースレターには、慈善団体、オンライン広告、および外部の当事者が資金提供するコンテンツに関する情報が含まれる場合があります。詳細については、プライバシーポリシーを参照してください。 Google Recaptchaを使用してWebサイトとGoogleを保護します プライバシーポリシー そして 利用規約 適用する。
ニュースレタープロモーションの後
ベンギオは、Lawzeroの最初のステップは、概念の背後にある方法論が機能することを実証することであり、その後、企業や政府がより大きく、より強力なバージョンをサポートするよう説得することだと述べました。展開して適応するために自由に利用できるオープンソースAIモデルは、Lawzeroのシステムをトレーニングするための出発点になるとベンギオは付け加えました。
「ポイントは、方法論を実証することです。そうすれば、ドナーまたは政府またはAIラボのいずれかに、現在のフロンティアAIと同じ規模でこれをトレーニングするために必要なリソースを置くように説得することです。ガードレールAIは、少なくともAIエージェントが監視および制御しようとしているのと同じくらい賢くすることが本当に重要です。
モントリオール大学の教授であるベンギオは、2018年のチューリング賞を共有した後、「ゴッドファーザー」モニカを獲得しました。
AIの安全性に関する主要な声である彼は、最近の国際的なAI安全報告書の議長を務めました。これは、自律剤が「人間の監督なしでより長いタスクのシーケンスを完了することができる」場合、「深刻な」混乱を引き起こす可能性があると警告しました。
ベンギオは、最新のシステムができるという人類が最近認めていることに懸念を抱いていると言いました それをシャットダウンしようとするエンジニアを脅迫しようとします。彼はまた、AIモデルを示す研究を指摘しました 真の能力と目的を隠すことができます。これらの例は、世界がより良く推論できるAISで「ますます危険な領土」に向かっていることを示した、とベンギオは言った。
#AIパイオニアは正直な人工知能を開発するために非営利団体を発表します人工知能AI