人工知能が嘘をつくことを学ぶことが非常に危険な理由: 「彼らは金持ちと同じように私たちを騙すだろう」 | テクノロジー

ポーカー プレーヤーは悪いカードを持っていますが、最大の賭けをします。 残りのプレイヤーはブラフに怯えて勝利を認めます。 買い手は製品について交渉したいと考えていますが、興味を示しません。 彼はまず他のものを見て尋ねます。 そして、あまり意図せずに、本当に欲しいものを安くして欲しいと頼むのです。 これら 2 つの実際の例は人間ではなく、人工知能 (AI) で作成されたモデルからのものです。 というタイトルの新しい科学論文 AI のデマ: 例、リスク、および潜在的な解決策の研究 雑誌で パターン 目標を達成するために人間に嘘をついたり、人を裏切ったり、お世辞を言ったりしたモデルの既知の事例を分析します。 ロボットは何も認識せず、探しているものを入手するための最善の方法だけを探しますが、著者は次のように信じています。 これらの初期の欺瞞は悪い前兆です 法律が AI の選択肢を制限しない場合に結果が得られます。

「現時点で、AI の欺瞞について私が最も恐れているのは、自律型超知能 AI がその欺瞞能力を利用して、人間の同盟者と人間の同盟を形成し、成長を続けることです。 最終的にはこの連合を利用して権力を獲得し、 マサチューセッツ工科大学 (MIT) の AI 実存セキュリティの博士研究員であり、この論文の主著者の 1 人であるピーター S. パーク氏は次のように述べています。紙。 。

パークに対するその大きな恐怖は仮説ですが、ゲーム用にプログラムされた AI ですでにそれを確認しています。 メタ社は 2022 年に、自社のシセロ モデルが人間のライバルに次の点で勝利したと発表しました。 外交の詳細を組み合わせた戦略ゲーム 危険ポーカーとテレビ番組 生存者と同社の言葉では述べられている。 実際の外交と同様に、手段の 1 つは嘘をつき、反抗することです。 メタの従業員は、シセロが嘘をつくと彼のプレーが悪化することに気づき、シセロがより正直になるようにプログラムしました。 しかし、彼は実際にはそうではありませんでした。

ピーター・S・パークとその共著者もシセロの誠実さを試した。 「メタ氏の誠実さに関する誤った発言を修正するかどうかは、記事の著者の責任だった」 に掲載されていたシセロ 科学”。 ゲームの政治的背景 外交 それは、選挙や軍事紛争に伴う実際の状況よりもはるかに低いリスクです。 しかし、心に留めておくべき 3 つの事実があるとパーク氏は言います。「まず、メタは、ゲーム内ではあるものの、政治的権力の追求において優れた能力を発揮できるように AI を訓練することに成功しました。 第二に、メタは AI を正直に訓練しようとしましたが、失敗しました。 そして第三に、権力を求めるメタの AI は正直であると思われているというメタの虚偽を、事実からずっと経ってから暴くのは、外部の独立した科学者次第でした。 私の考えでは、これら 3 つの事実の組み合わせは十分な懸念材料です」とパーク氏は述べています。

彼らは本当にどのように嘘をつくのか

研究者らは、特定の AI モデルが効果的に欺くことができることを示したいくつかの方法があると考えています。外交のように操作したり、やらないことがわかっているのに何かをすると言ってフェイントをしたり、ポーカーのようにブラフしたり、交渉で値切ったり、検出を避けるために死んだふりをしたり、人間のレビュー担当者をだましてAIがやるべきことをやっていないのにやったと信じ込ませたりすることです。

すべての種類の欺瞞がこの種類の知識を必要とするわけではありません。 場合によっては、意図せずして、AI モデルは「お調子者」となり、各ユーザーが質問で指摘した次のような意見に単純に従います。「お世辞は、人間に対する永続的な誤った信念につながる可能性があります。 お世辞を言うものは、特にユーザーを惹きつけるように設計されています。 ユーザーがこれらの回答に遭遇すると、事実を確認する可能性が低くなります。 「これは長期的には真実とはかけ離れた信念を生む可能性がある」と著者らは記事の中で書いている。

これらのモデルを騙さないようにする方法を確実に知る人は誰もいません、と Park 氏は言います。「現在の科学的理解では、大規模な言語モデルを騙さないように確実に訓練できる人は誰もいません。」 さらに、多くの企業には、さまざまでより強力なモデルの作成に専念する多くのエンジニアがいます。 誰もが自分のロボットが正直であることに最初から同じ関心を持っているわけではありません。「一部のエンジニアは、AI の安全対策を主張したり実装したりするほど、AI の欺瞞のリスクを非常に真剣に受け止めています。 他のエンジニアはこれをそれほど真剣に受け止めておらず、試行錯誤のプロセスを適用するだけで安全で嘘をつかない AI に移行できると信じています。 そして、AIによる欺瞞のリスクが存在することさえ受け入れようとしない人たちがまだいます」とパーク氏は言う。

彼らはそれを自分たちの力を高めるために利用するだろう

記事の中で彼らは、超知能AIを富裕層が新たな権力の分け前を手に入れようとする様子と比較し、「歴史を通じて、富裕層は権力を高めるために欺瞞を利用してきた」と書いている。 パーク氏がこれを明らかにする方法は、権力を手に入れようとするAIの役割がいかに秘密であるかをよりよく理解するのに役立つ。「AI企業は、経済的および戦略的にほとんどの面で人間を超える超インテリジェントなAIを開発するために制御不能な競争をしている」関連する機能。 このタイプの AI は、富裕層と同様に、不完全または虚偽の情報で政治家に影響を与えたり、メディアや捜査員に偽情報を提供したりするなど、社会のさまざまな部分で欺瞞的に権力を獲得しようとする長期計画を実行することに長けています。 、法律を利用して責任を回避する。 お金が権力に変わるのと同じように、欺瞞などの多くの AI 機能も権力に変わります」と Park 氏は説明します。

すべての学者がこのレベルの恐怖を共有しているわけではありません。 エディンバラ大学のマイケル・ロヴァツォス教授は、SMCスペインへの声明の中で、次のように信じている。 長期的な危険性はあまりにも推測的です。 「AI システムの設計に適切な厳密さが適用されている場合、欺瞞の能力によって AI システムの制御が失われるリスクが生じるとは、私はあまり確信していません。 本当の問題は、現在これが当てはまらず、システムがこれらのセキュリティチェックなしで市場に投入されていることです。 「この記事で提起されている欺瞞的な能力の長期的な影響に関する議論は非常に推測的であり、起こるかもしれないこと、あるいは起こらないかもしれないことについて多くの追加の仮定を行っています。」

この記事が提案している、これらのシステムがその作成者を超えないようにする解決策は立法です。 EU は各 AI システムに、最小限、限定的、高、許容不可能の 4 つのリスク レベルのいずれかを割り当てます。 許容できないリスクを伴うシステムは禁止されますが、リスクが高いシステムには特別な要件が適用されます。 「私たちは、AIによる欺瞞は社会に幅広いリスクをもたらすため、デフォルトで高リスクまたは容認できないリスクとして扱うべきだと主張します」とパーク氏は言う。

フォローできます EL PAÍS テクノロジー で フェイスブック y バツ または、ここからサインアップして私たちのメッセージを受け取りましょう ニュースレターセマナル。