1723378664
2024-08-08 17:00:00
7月下旬、 OpenAI ChatGPTの不気味なほど人間のような音声インターフェースの展開を開始しました。 安全性分析 本日リリースされたこのチャットボットについて、同社は、この擬人化された音声が一部のユーザーをチャットボットに感情移入させる可能性があることを認めている。
この警告は、GPT-4o の「システム カード」に記載されています。これは、同社がこのモデルに関連するリスクと見なしている内容、安全性テストの詳細、および潜在的なリスクを軽減するために同社が講じているリスク軽減策を説明した技術文書です。
OpenAIはここ数ヶ月、AIの長期的なリスクに取り組んでいる従業員数名が調査を受けている。 会社を辞める。 いくつかの その後OpenAIは AIの商業化を目指す競争において、不必要なリスクを冒し、反対意見を封じ込めてきたOpenAIの姿勢は、批判を和らげ、同社がこの問題を真剣に受け止めていることを世間に再認識させることにつながるかもしれない。
新しいシステムカードで調査されたリスクは多岐にわたり、GPT-4oが 社会的な偏見を増幅する、 偽情報を広める、および開発の支援 化学兵器または生物兵器また、AIモデルが制御を破ったり、人々を欺いたり、破滅的な計画を企てたりしないようにするためのテストの詳細も公開しています。
外部の専門家の中には、OpenAIの透明性を称賛する者もいるが、さらに踏み込む余地があると指摘する者もいる。
AIツールをホストする企業、ハギングフェイスの応用政策研究者、ルーシー・エミー・カフェ氏は、GPT-4oのOpenAIシステムカードには、モデルのトレーニングデータやそのデータの所有者に関する詳細な情報が含まれていないことを指摘する。「テキスト、画像、音声など、複数のモダリティにまたがる大規模なデータセットを作成する際の同意の問題に対処する必要がある」とカフェ氏は言う。
一方で、ツールが実際に使用されるにつれてリスクが変化する可能性があると指摘する人もいる。「内部レビューはAIの安全性を確保するための最初の一歩に過ぎない」と、 ニール・トンプソンAIリスク評価を研究するMIT教授のジョン・E・ケリー氏は次のように述べている。「多くのリスクは、AIが現実世界で使用されたときにのみ現れます。新しいモデルが登場するにつれて、こうした他のリスクを分類して評価することが重要です。」
新しいシステムカードは、OpenAIの音声インターフェースなどの強力な新機能の開発により、AIリスクがいかに急速に進化しているかを強調しています。5月に 同社は音声モードを発表したは、素早く反応し、自然なやり取りで中断を処理できるため、多くのユーザーがそれが現れたことに気づきました。 デモで過度に誘惑的同社は後に 女優スカーレット・ヨハンソンからの批判に直面したは、同紙が自分の話し方を真似していると非難した。
システム カードの「擬人化と感情的依存」というセクションでは、ユーザーが AI を人間の言葉で認識するときに生じる問題が取り上げられており、これは人間のような音声モードによって悪化しているようだ。たとえば、GPT-4o のレッド チーム テスト、つまりストレス テスト中に、OpenAI の研究者は、モデルとの感情的なつながりを感じさせるユーザーの発言の例に気付いた。たとえば、ユーザーは「今日が一緒に過ごす最後の日だ」といった言葉を使っていた。
OpenAI によると、擬人化により、モデルが誤った情報を「幻覚」した場合、ユーザーはモデルの出力をより信頼するようになる可能性がある。時間が経つにつれて、ユーザーと他の人々との関係にも影響が出る可能性がある。「ユーザーは AI と社会的関係を築き、人間との交流の必要性が減る可能性がある。孤独な人にはメリットがあるかもしれないが、健全な関係に悪影響を与える可能性もある」と文書には記されている。
OpenAIの準備部門責任者のホアキン・キニョネロ・カンデラ氏は、音声モードは他に類を見ないほど強力なインターフェースに進化する可能性があると語る。また、GPT-4oに見られるような感情的効果は、孤独な人や社会的交流の練習が必要な人を助けるなど、ポジティブなものになり得るとも指摘する。さらに、同社ではベータテスターがChatGPTとどのようにやり取りするかをモニタリングするなど、擬人化と感情的つながりを詳しく研究していくと付け加えた。「現時点では発表できる結果はありませんが、懸念事項のリストに入っています」と同氏は言う。
#OpenAIユーザーが音声モードに感情的に夢中になる可能性があると警告