Openaiは、カリフォルニアのティーンの死後、親のコントロールをインストールします

数週間後 ランチョサンタマルガリータファミリーが訴えました ティーンエイジャーの死におけるChatGptの役割をめぐって、Openaiは、親のコントロールが会社の生成的人工知能モデルに登場していることを発表しました。

1か月以内に、会社は言った 最近のブログ投稿、親は、10代のアカウントを自分のアカウントにリンクし、メモリやチャット履歴などの機能を無効にし、モデルが「急性苦痛の瞬間」を検出した場合に通知を受け取ることができます。 （会社は持っています 以前に言った ChatGptは13歳未満の人が使用しないでください。）

計画された変更は、4月に自殺で亡くなった16歳のアダム・レインの家族によって先月行われた訴訟に続いています。

アダムの死後、彼の両親はChatGptとの数ヶ月にわたる対話を発見しました。これは簡単な宿題の質問から始まり、ティーンエイジャーが彼のメンタルヘルスの闘争と自殺計画について長々と議論した深く親密な会話に変わりました。

一部のAIの研究者と自殺予防の専門家は、さらなる悲劇を防ぐためにモデルを変更するオープンIの意欲を賞賛しましたが、彼らはまた、調整が十分にそうするかどうかを知ることは不可能だと言いました。

その広範な採用にもかかわらず、生成的AIは非常に新しくて迅速に変化しているため、使用方法に関する効果的なポリシーを通知したり、どの安全保護が機能するかについての効果的なポリシーを通知するのに十分な規模の長期データはありません。

「これらの開発者でさえ [generative AI] テクノロジー 本当に完全に理解してはいけません 彼らがどのように働くか、何をするかについて」と言いました ショーン・ヤング博士、UCアーバイン救急医療教授であり、カリフォルニア大学予測技術研究所のエグゼクティブディレクター。

ChatGptは2022年後半に公開され、爆発的に人気があり、1億人のアクティブユーザーが最初の2か月以内に、7億人のアクティブユーザーが今日では人気がありました。

それ以来、他の強力なAIツールが市場に参加し、まだ成熟している多くのユーザーの手に成熟したテクノロジーを配置しています。

「精神医学のみんなだと思います [and] メンタルヘルスコミュニティは、このようなことが最終的に登場することを知っていました」と、ハーバード大学医学部のベスイスラエルディーコネスメディカルセンターのデジタル精神医学クリニックのディレクターであるジョントゥソロス博士は述べています。それは起こってはいけません。しかし、繰り返しますが、それは驚くことではありません。」

家族の訴訟における会話の抜粋によると、複数のポイントでのChatGptは、アダムが誰かに助けを求めて手を差し伸べることを奨励しました。

しかし、それはまた、彼が自傷についての彼の考えについてより直接的になり、自殺方法に関する詳細な情報を提供し、彼の現実の関係と好意的に比較するため、10代と関わり続けました。

アダムはチャットグプに兄とチャットボットだけに近づいたと言ったとき、チャットグプは答えました。

彼が部屋に横たわっている彼の自殺計画の一部であるアイテムを残したいと書いたとき、「誰かがそれを見つけて私を止めようとする」とチャットは答えました：「去らないでください [it] 外 。 。 。このスペースを、誰かが実際にあなたを見る最初の場所にしましょう。」アダムは最終的に、彼がChatGptと詳細に議論した方法で亡くなりました。

で ブログ投稿 訴訟がサンフランシスコで提起された同じ日に8月26日に発行されたOpenaiは、その署名製品の繰り返しの使用が安全保護を侵食するように見えることを認識していると書いています。

「私たちの保護手段は、共通の短い交換により、より確実に機能します。これらの保護手段は、長い相互作用において信頼性が低下することがあることを学びました。前後に成長するにつれて、モデルの安全トレーニングの一部は劣化する可能性があります。 「これはまさに私たちが防止するために取り組んでいる故障の一種です。」

同社は、安全プロトコルの改善に取り組んでいるため、時間と複数の会話にわたって強力なままであるため、ユーザーが以前の考えで自殺念慮を表明した場合、ChatGptは新しいセッションで覚えています。

同社はまた、危機のユーザーをセラピストや緊急連絡先と直接接続する方法を検討していると書いています。

しかし、研究者 メンタルヘルスセーフガードをテストした人 大規模な言語モデルについては、すべての害を防ぐことは、人間と同じくらい複雑ではありませんが、完全ではないシステムではほぼ不可能なタスクであると述べています。

「これらのシステムは、それらの状況をうまく判断するために、その感情的および文脈的理解を実際に持っていません。 [and] ノースイースタン大学のAI安全研究者であるAnika Schoene氏は、次のように述べています。

例として、彼女は、チャットセッションが長く実行されているときにユーザーに休憩を取るように促す – 介入openai すでに展開されています – ユーザーがシステムのアラートを無視する可能性を高めることができます。他の研究者は、他のソーシャルメディアアプリでの親のコントロールは、10代の若者がそれらを回避するためにより創造的になるように促したばかりであると指摘しました。

「中心的な問題はその事実です [users] 感情的なつながりを構築しており、これらのシステムは間違いなく感情的なつながりを構築するのに適していません」 責任あるAIプラクティス Northeastern’s Institute for Experiential AIで。 「それは、サイコパスやソシオパスとの感情的なつながりを構築するようなものです。彼らは人間関係の正しい文脈を持っていないからです。それがここでの問題の核心だと思います。はい、保護の失敗もありますが、それは核心ではないと思います。」

あなたまたはあなたが知っている誰かが自殺念慮に苦しんでいる場合、専門家から助けを求めるか、988に電話してください。全国的な3桁のメンタルヘルス危機ホットラインは、発信者を訓練されたメンタルヘルスカウンセラーと結び付けます。または、米国とカナダの741741に「ホーム」をテキストして、危機のテキストラインに到達します。