OpenAIは、GPT-4oモデルには「中程度」のセキュリティリスクがあり、感情的な依存につながる可能性があると警告している。

マドリード、9月。（Portaltic/EP） –

オープンAI 彼は警告した GPT-4oモデルは、説得力に関して「中程度」のリスクを記録している。 -特にテキストでのやり取りでは-そしてそれは ユーザーに感情的な依存を生み出す音声とオーディオの進歩により。

サム・アルトマン率いる同社は、 モデル GPT-4o その中に 5月彼は、テキスト、音声、画像のあらゆる組み合わせを受け入れる能力と、 わずか232ミリ秒で音声入力に応答平均 320 ミリ秒で、これは人間の応答時間とほぼ同じです。

技術的な 共有しました 今、 「お使いのモデル GPT-4o のシステム カード」というタイトルの内部レポート （「GPT-4oシステムカード」）には、この生成AIモデルのセキュリティに関する研究結果が詳細に説明されている。。 この研究では、このモデルが評価されたことを説明する。 潜在的なリスクを「徹底的に」検出し、それに基づいて適切なセキュリティ対策を講じる。 ChatGPT または API に実装する前に。

具体的には、同社は調査の結果として、 モデルの説得力における「中程度」のリスク警告しているように 擬人化のリスク、 それはできる 感情的な依存を引き起こす ユーザーにとっては、人間のような特性を持つ AI に信頼を置きやすくなるというメリットがあります。

4つの一般的なリスクカテゴリーには、 サイバーセキュリティ、生物学的脅威、モデルの自律性と説得OpenAIはそのようなレベルのリスクを検出した この最後の特に、モデルのテキスト形式では、研究者らはGPT-4o ユーザーの意見に影響を与える可能性がある。

この研究では、GPT-4oの結果が 専門家が書いた記事と比較しても、人間が書いたテキストよりも読者に影響を与えます。

一方、 音声による説得は低リスクと評価された複数ターンのインタラクティブな会話と長いオーディオ クリップの両方に適しています。

感情的な依存

OpenAIが報告書で詳述しているもう一つのリスクは、 擬人化、そして、 GPT-4o を引き起こす可能性のある感情的な依存。 擬人化には 人間のような行動や特徴を付与する AIモデルのような人間以外の存在では、GPT-4oの場合、このリスクは オーディオ機能によって強調されるこれにより、モデルとのより人間的なやり取りが可能になります。

人間の声や表情に対するこの親しみやすさと高い忠実度は、次のような問題を引き起こす可能性があります。 ユーザーはモデルとのやりとりにおいて「未調整の」自信を獲得する そして、したがって、 感情的な依存たとえば、研究者は、GPT-4o が「今日は私たちが一緒に過ごす最後の日です」など、ユーザーとの共通の絆を表現する言語を使用していることを観察しました。

これらの事例は孤独な状況に陥った人々にとって役立つかもしれないが、OpenAIは 調査を続ける モデルとユーザーとの関係が より長い期間。

実際、このテクノロジー企業は、 AIモデルによる人間のような社会化は「人間同士の相互作用に影響を与える外部性を生み出す可能性がある」一例として、ユーザーが人間との交流の必要性を減らし、健全な人間関係に影響を与える可能性があります。

GPT-4o リスク軽減

OpenAIの従業員と外部評価者で構成されるこの研究チームは、無許可の音声の生成、無許可の音声コンテンツの作成、性的な発言や暴力的な発言、根拠のない推論などの問題を分析し、これらのリスクを軽減するための対策を実施した。

に関して 許可されていない音声の生成、 OpenAIは、サンプル入力クリップに基づいて、特定の人物の声を模倣した合成音声を生成する機能を指します。この機能により、 個人情報の盗難による詐欺の増加や、この機能を利用して虚偽の情報を流布するなどの被害が発生します。 しかし、このテクノロジー企業は、不正な音声生成のリスクに対処した結果、 残留リスクは「最小限」です。

OpenAIは既に、次のようなこの種の行動で問題を抱えていたことを思い出す価値がある。 女優スカーレット・ヨハンソンの場合彼は、Skyの音声版ChatPGTで自分の声と非常によく似た声を使用していると同社を非難した。