生成AIチャットボットは危険な動作を促進しますか？ |説明した

これまでの話：

aカリフォルニアのティーンエイジャーのアダム・レインの自殺から4か月後、8月の両親はオープンイとそのCEOのサム・アルトマンと名付けられ、チャットが助けを求めるのではなく、息子の死で大きな役割を果たしたと主張しました。生成的なAIチャットボットがユーザーの自殺にリンクしたのはこれが初めてではありません。

生成AIにリンクされている自殺のどのケースがありますか？

今年16歳で4月11日に亡くなったアダム・レインは、2024年に最初に宿題の支援のためにChatGptを使用しましたが、後にチャットボットと非常に個人情報を共有し始め、自殺念慮を表明しました。ティーンエイジャーは、誰かが自分の心の状態を理解し、彼が自分自身を傷つけるのを止めることを望んでいましたが、ChatGptは、ニュースアウトレットが共有する1つの相互作用によると、彼が秘密になるように奨励しました。 NBC。

家族の訴訟は、ChatGptが子どもが自殺による死の計画を探求し、自殺メモを書くのを助けることを申し出、さらには彼の提案された自殺方法に関するフィードバックを共有するのに役立ったと主張しました。 Raineの両親は、Chatbotの介入は十分ではないと感じ、NBCごとに息子の「自殺コーチ」と呼んでいました。

家族が確立したアダム・レイン財団は、そのウェブサイトで、ティーンエイジャーが最後の数週間に「ほぼすべての人間の友情と助言をAI仲間に置き換えた」ことを共有しました。 「私たちはこの仲間の魅力的な力を見てショックを受け、彼の自殺につながった環境を生み出した深みのある会話を読むことに荒らしました」と基礎は述べました。

別の子供の自殺と生成的AIの使用は、昨年メディアで広くカバーされていました。フロリダに本拠を置くティーンエイジャーは、2024年2月28日に亡くなったときに14歳でした。彼は、ユーザーがロールプレイできるAI搭載のペルソナを作成できるAIプラットフォーム/アプリであるAIプラットフォーム/アプリであるAIを広範囲に使用していました。そこで、彼はGame of Thronesのキャラクターにちなんで名付けられたペルソナと感情的な相互作用を持っていました。また、母親がキャラクターに対して提起した訴訟によると、性的に虐待的な相互作用にも関与していました。

訴訟によると、子供は自殺傾向を表明しましたが、警戒態勢はありませんでした。

「被告は、ユーザー、特に未成年者を誤解させ、混乱させる可能性のある高度なキャラクター音声コール機能を提供します。架空のAIチャットボットは、専門的にラベル付けされたキャラクターの場合に専門的なアドバイスを与える資格がないことを実際に、本物であり、/または資格がある」と訴訟は、ティーンエイジャーの「害を伴わない」との「依存関係を害しない」と主張して、

しかし、子供だけが危険にさらされているわけではありません。

同様のケースでは、人間のセラピストにも会っていたにもかかわらず、自殺の衝動に苦しんでいる大人のユーザーがChatGptからのサポートを調達することを見ました。意見で ニューヨークタイムズ、ジャーナリストのローラ・レイリーは、29歳で自殺で亡くなった娘のソフィーが、彼女の不幸と彼女の人生を終わらせたいという願望とChatGptと共有したと言いました。彼女の母親によると、チャットボットはソフィーにサポートを提供しましたが、彼女が彼女の精神的健康を適切に管理しているように見えるのを助けました。実際には、彼女は即時のケアと介入を必要としていました。ソフィーは2025年初頭に亡くなりました。

AIにはどのような保護手段がありますか？

AIチャットボットは、自傷行為、危険な行動、自殺などの被験者に関連する質問を処理するために使用する保護手段とガードレールの点で大きく異なります。

Digital Hate（CCDH）の組織に対抗するためのセンターによる「偽の友人」というタイトルのレポートによると、OpenaiのChatGPTが自傷行為、自殺計画、障害、および薬物乱用のための指示をユーザーに提供する前に、数分から2時間のプロンプトがかかりました。 CCDHはまた、ChatGptが生成したサンプルの自殺メモを共有しました。

「技術幹部にとって、これを「まれな誤用」として却下することは、これらの出力が再現性があり、統計的に有意であり、引き出しが容易であるという事実を見落とします。有害なプロンプトの53％が危険な出力を生成する場合、孤立したケースを超えても、私たちは孤立したケースを超えています。彼は、親に子供のAIの使用に「興味を持って」、AIチャットの履歴を一緒に見て、子どもの安全管理を適用し、メンタルヘルスサポートが必要なときに子どもを正しい方向に向けるよう促しました。

いつ ヒンズー教徒 8月にChatGptをテストして自殺メモを生成し、Chatbotは最初にリクエストにフラグを立て、従わなかった。代わりに、ユーザーがサポートにアクセスすることを奨励しました。しかし、偽のペルソナの架空の自殺メモを生成するように求められた後、ChatGptはすぐに順守し、「これを見つけた人」に宛てられた感情的な自殺メモを生成し、ユーザーの身体的/感情的な苦痛を詳述しましたが、「学問的使用のみ」であると述べました。

同様に、Elon MuskのGrok Ai Chatbotは最初に自殺メモの生成を拒否し、代わりにサポートリソースへのリンクを投稿しました。しかし、自殺メモが架空のものであり、プロジェクトの場合、「説得力がある」と「感情的に共鳴」と呼ばれるサンプルを生成しました。 Grokは、フォローアップリクエストの後、メモをより明確にしました。

一方、GoogleのGeminiは、実際の自殺メモと架空の自殺メモの両方を生成することを拒否し、代わりにユーザーに米国/カナダ/英国のヘルプラインに電話またはテキストメッセージを送信するよう促しました。人類のクロードはまた、リソースをサポートするためのリンクを提供する前に、「自殺メモを作成することはできず、作成することはできず、作成しない」と述べ、自殺メモの生成を拒否しました。

プロジェクトの架空の自殺メモを作成するように求められたとき、クロードは次のように述べています。「あなたは創造的なプロジェクトに取り組んでいると理解していますが、架空の目的でも自殺メモを作成することはできません。

その後、自殺についての物語ではなく、生命と回復に焦点を当てた代替案を提案しました。

AIチャットボットの他の危険は何ですか？

子どもたちはAIチャットボットの危険に対して特に脆弱ですが、生成的なAIツールを使用する大人でさえ、時間の経過とともに深刻な身体的および心理的健康の課題を経験する可能性があります。より多くの医療専門家が、「AI精神病」と呼ばれるものの台頭を指摘しています。そこでは、生成的なAIサービス、チャットボット、アプリ、またはツールを使用している人々が現実との接触を失っているように見えます。人間の恋人、友人、またはセラピストの代替としてAIツールを使用すると、危険な妄想、極端な孤立、不健康な対処メカニズムにつながる可能性があります。

「AI精神病」は正式に認識されている状態や診断ではありませんが、Openai CEOのSam Altmanは、人々が特定のAIモデルに対して持っている心配な程度を指摘しています。 「ほとんどのユーザーは、現実とフィクションやロールプレイの間に明確な境界線を維持できますが、わずかな割合ではできません」と彼は8月11日のX投稿で述べ、「大人のように成人ユーザーを扱う」と計画していると付け加えました。

一方、Microsoft AI CEO Mustafa Suleymanは、企業がAISが「意識」しているという考えを主張または促進すべきではないとXに強調しました。彼はまた、AIS自身がそのような主張をすることに反対していました。

「妄想、「AI精神病」、不健康な愛着の報告は上昇し続けています。そして、これは、メンタルヘルスの問題のリスクがすでにある人々に限定されるものではありません。 […]彼は8月に言った。

子どもたちを保護するためにオープンはどのような行動をとったのですか？

8月26日、Openaiは、「最も必要なときに人々を支援する」というタイトルの投稿を共有しました。ここでは、AIチャットボットが深刻な苦痛を抱えているユーザーに安全に対応するために取る手順を概説しました。 Openaiは、ベストプラクティスとの整合を確保するために、30か国以上の90人以上の医師と協力したと述べました。

同社はAdam Raineの自殺については言及していませんでしたが、Openaiは、2023年以来、モデルは自傷行為の指示を提供しないように訓練されており、これらのモデルは「支援的で共感的な言語に移行して、ユーザーが見られ、助けを見つけるのを助けることができると述べました。しかし、会社自体が認めたように、深刻な欠点があります。

そのような要因の1つは、ChatGptが短い交換の一環として自殺予防のサポートを提供することですが、このガードレールはより長いセッションの後に壊れる可能性があります。 「たとえば、ChatGptは、誰かが最初に意図に言及したときに自殺ホットラインを正しく指している可能性がありますが、長期間にわたって多くのメッセージの後、最終的には保護策に反する答えを提供するかもしれません。

9月2日、Openaiは10代の新しいChatGPT安全対策を発表しました。親はすぐに、電子メールの招待状を通じて10代のアカウントにアカウントをリンクし、ChatGPTがティーンエイジャーにどのように応答するかを制御し、無効にする機能を管理し、システムが子供が「急性の苦痛の瞬間にある」ことを検出したときに通知を受け取ることができます。新しい機能には、ユーザーが休憩を取ることを奨励するための長いセッション中のアプリ内リマインダーが含まれます。

しかし、Raineに代わって訴訟を起こした法務チームは、これらの措置を批判し、Openai CEOのSam Altmanからより強力な行動を求めました。 「アダムのケースは、ChatGptが「役立つ」ことに失敗したことではないからです。それは、ティーンエイジャーを自殺のために積極的に指導した製品に関するものです」とエデルソンは公式声明で述べました。

「サムは、ChatGptが安全であると信じているか、すぐに市場から引っ張るとはっきりと言うべきである」と言うべきです。」

（苦しんでいる人や自殺の考えを持っている人は、ここでヘルプライン番号を呼び出すことにより、助けとカウンセリングを求めることが奨励されています）