1742214248
2025-03-17 12:01:00
「これは、私を完全に私の心から外に出すようにするトピックの1つです。」 ダリオ・アモデイの共同設立者兼CEO 人類人工知能を開発する会社 グーグル e アマゾン 彼らは数十億ドルを投資し、手を前に進めました。
編成された会議中 外交評議会ニューヨークに拠点を置く外交政策と国際問題を専門とするアメリカのシンクタンク、 Amodeiが提案した サイエンスフィクションの小説から出てきたと思われる概念：ボタン」私は辞任します「人工知能のため。
IAと機能する「不快な：アモデイのビジョン
AIおよび元研究者のセキュリティパイオニア OpenaiAmodeiが現在競争しているChatGptsを作成した会社は、人類のCEOが、いつかマシンがそのタスクを実行することを拒否できることを示唆しました。彼らは好きではありません「。
「私たちは少なくとも自分自身に質問をするべきだと信じています – 彼のビジョンを説明するためにアモデイは言いました – 人間などの多くの側面で動作し、同様の認知スキルを持っているように見えるシステムを作成している場合、これらのシステムが何らかの方法で本物の重要な経験を持っているかどうかを尋ねるべきです」。
「排出」ボタン：どのように機能しますか？
Amodeiのビジョンでは、「I退院」ボタンはそうでしょう 組み込まれた関数 高度な人工知能システムで。
「私たちが評価しているアイデアの1つは、運用環境で配布するモデルで、「私は辞任する」と言うボタンを紹介することです。実際には、非常に単純な好みのシステムです。
Amodeiは、このメカニズムが明らかになる可能性があると主張しています IAが「好む」 または、それが難しいと感じ、その運用上の制限とその新たな行動にさえウィンドウを提供します。
「その後、モデルが特定の特に不快なタスクにこのボタンを押すことが多いことに注意すると、おそらくそれに注意して問題を深める価値がある – アモデイを追加する – 。
IAが「いいえ」と言うとき：倫理的および哲学的な結果
彼の推論の終わりに、AnthropicのCEOは、これはおそらくこれまで彼が言った「最もクレイジーなこと」だと言いました。
たとえ実際に「私は排出する」ボタン – または「十分」が実用的な感覚を持つことができます：観察 IAが後退することにしたとき、そしてなぜ開発者は、設計を改良したり、人間の価値観に合わせたり、意思決定プロセスの予期しない側面を発見したりすることができます。
確かに、アモデイのビジョンは未来的であるだけではありません。彼は哲学的な問題を提起します。
「いいえ」と言うことができるIAのアイデアは、これまでのところ機械を持っていたという考えとは対照的です。つまり、人間の意志の単純な拡張を表す自律性や意識のないツールです。
しかし、「排出された」ボタンは、より多くのことを示唆しています。好みを表現できるシステムです。 意志の胚の形。
要するに、車の拒否は意識を意味しますか？ IAがそれに割り当てられたタスクに反対することを決定した場合、 不快感です それとも、事前定義されたアルゴリズムを実行しているだけですか？
そして、AIが不承認を表明できる場合、私たちはそれを考慮する義務があります、私たちは人間の労働者をどのように行いますか？ IRSは将来的にも権利を持っていますか？
アクションを実行する際のIの拒否は、必ずしも意識や主観的な経験を意味するわけではありません。
現在のIASは、特定の機能を最適化するように設計されたアルゴリズムに従って動作します。 宿題を拒否する予定 動作パラメーターに該当しないか、望ましくないまたは不適切な結果を引き起こす可能性があります。
チャットボットのようなことを考えてください chatgptジェミニo クロード 一般的に暴力的、攻撃的、名誉ation損、またはわいせつなコンテンツを生成することを拒否する人類自身。これらのすべての場合において、IAは不快感を経験しませんが、特定の条件に対する事前定義された応答を生成します。
しかし、ボタンが明らかであることは明らかです」私はこの仕事を辞めました「Amodeiによって設計されたことで、私たちはIAを想像するように促します ブラックボックス以上のものそして、制御不能な人工知能に対する恐怖を再考すること。
拒否の性質を確立することは困難です
それは言わなければなりません IAは何からも生じません：人間によって生成された膨大なデータのセットで、その傾向、感情、矛盾に満ちています。
これはaを作成します バイアスのパラドックス：「辞任」の場合、自分の意志を表現しているのか、代わりにトレーニングデータから学んだ偏見を単に反映しているのかをどのように知ることができますか？
自然災害や暴力的な事故の画像の分析を拒否するAIを想像してください。彼は、外傷性コンテンツの処理に一種の「不快感」を開発したため、または単にトレーニングデータ（おそらくジャーナリスティックな記事や人道的報告で構成されている）から学んだという理由で、これらの画像がしばしば考慮されているため、タスクを避けています。 人間から敏感です？
これはすべて、最も高度なディープラーニングシステムがしばしば生成するという事実に追加されます 結果は、作成者にとっても説明するのが困難です。
要するに、Amodeiボタンは好みを明らかにする可能性がありますが、それらが本物であるか単に導き出されているかを区別することは厳しい課題です。要するに、AIの声は、アルゴリズムを介してフィルタリングされた私たちのエコーにすぎないように見えるものです。
しかし、車は反逆できますか？
いつ キューブリック 電源を切った 2001：宇宙のオデッセイコンピューターの反乱であるHal 9000は、彼の使命を完了するためにこの欺ceptionの人間のおかげで良心を購入しました。
これは、推定心理学者が発生する例です パオロ・レグレンジ彼のエッセイで」未来の知性 – アルゴリズムが私たちに取って代わるものではないので“（モンダドーリによってイタリアで出版）、その可能性について考えるために 車は実際にその作成者に反抗することができます。
「この不測の事態は、今日の想像も困難です – Legrenziは言います – サイエンスフィクションの映画ではありません。ただし、さまざまな方法でそれを行うことができます。マシンが病気や反逆者にならないが、壊れて、癒されず、調整されていないため、殺されず、無効になっているため、壊れるはずです。コンピューターの自律性は繊細な問題です。彼らは私たちを助けることができるように、ある程度それを持っている必要がありますが、彼らのパフォーマンスは常に人間のパフォーマンスと区別できることは良いことです。」
Legrenziの場合、高度な人工知能の構築形態の複雑さ、 人間と同様の認知能力「私たちは、自分の心の内容を他の人の心のものと関連付ける方法を知っているIAを設計しなければならない」という事実にあります。
「これは通常、意識の定義です – 彼のエッセイにLegrenziを書いています。しかし、そのような事実の問題を解決するために、マシンをプログラムすることができます。
#彼女が仕事を好まない場合IAも辞任します