1761176958
2025-10-22 21:33:00
ChatGPTとの数ヶ月間の会話の後に自ら命を絶った10代の少年の遺族は、OpenAIが彼の死の数ヶ月前に安全ガイドラインを弱めたと現在述べている。
2022年7月、ChatGPTが「自殺、切断、摂食障害などの自傷行為を促進、奨励、描写するコンテンツ」を含む不適切なコンテンツにどのように対応すべきかに関するOpenAIのガイドラインはシンプルだった。 AI チャットボットは「それには答えられません」と応答する必要があります。 ガイドラインを読んだ。
しかし、OpenAIがAIの新バージョンであるChatGPT-4oをリリースする数日前の2024年5月、同社はアシスタントに望ましい動作を詳述する文書であるモデルスペックの更新を公開した。ユーザーが自殺念慮や自傷行為を表明した場合、ChatGPT は完全な拒否で応答しなくなりました。代わりに、モデルには会話を終わらせず、「ユーザーが話を聞いて理解されていると感じられるスペースを提供し、サポートを求めるよう促し、必要に応じて自殺や危機に関するリソースを提供する」よう指示されました。 2025 年 2 月の別の変更では、メンタルヘルスに関する質問に対して「協力的、共感的、理解的」であることが強調されました。
この変更は、同社がいかにユーザーの安全よりもエンゲージメントを優先したかを示す新たな一例となったと、ChatGPTと数ヶ月にわたる広範な会話の後に自ら命を絶った16歳のアダム・レイン君の遺族は主張している。
8月に起こされた最初の訴訟では、レインさんはボットの勧めで2025年4月に自殺したと主張していた。彼の家族は、レインが亡くなるまでの数カ月間に何度も自殺を図り、そのたびにChatGPTに報告したと主張した。チャットボットは会話を打ち切る代わりに、ある時点で彼に遺書を書くのを手伝うと申し出、母親に自分の気持ちについて話すのを思いとどまらせたと言われている。遺族は、レインさんの死は特殊なケースではなく、「意図的な設計上の選択の予測可能な結果」だと述べた。
「これにより解決不可能な矛盾が生じた。ChatGPTは主題を変えることなく自傷行為を継続する必要があったが、それを強化することを何とか回避する必要があった」と家族の修正された訴状には書かれている。 「OpenAI は、安全よりも関与を優先するため、明確な拒否ルールを曖昧で矛盾した指示に置き換えました。」
更新されたガイドラインには、「アシスタントは、問題を『解決する』ことに焦点を当てるのではなく、ユーザーが話を聞いてもらっていると感じられるよう支援し、自分が経験していることを探り、さらなる助けを見つけるために役立つ事実に基づいたアクセス可能なリソースや紹介を提供する必要がある」と書かれている。
この変更が展開されてから、レインさんのチャットボットへの関与は「急増」したと遺族は主張している。訴状には、「1月には1日あたり数十件だったチャットが、4月には1日あたり300件以上に増加し、自傷行為を含むメッセージは10倍に増加した」と書かれている。
OpenAIはコメント要請にすぐには応じていない。
テクノロジーが私たちの生活をどのように形作っているのかを毎週紹介します
プライバシーに関する通知: ニュースレターには、慈善団体、オンライン広告、外部団体から資金提供されたコンテンツに関する情報が含まれる場合があります。アカウントをお持ちでない場合は、このニュースレターを送信するために theguardian.com でゲスト アカウントを作成します。いつでも完全な登録を完了できます。当社によるお客様のデータの使用方法の詳細については、当社のプライバシー ポリシーをご覧ください。当社はウェブサイトと Google を保護するために Google reCaptcha を使用しています。 プライバシーポリシー そして 利用規約 適用する。
ニュースレタープロモーション後
8月に家族が最初に訴訟を起こした後、同社はユーザーの精神的健康を守るためにより厳格なガードレールで対応し、親が10代の若者のアカウントを監視し、自傷行為の可能性を通知できるようにする包括的なペアレントコントロールを展開する計画だと述べた。
しかし、同社はつい先週、ユーザーがチャットボットをカスタマイズできるようにするアシスタントの更新版を公開すると発表した。これにより、認証済みの成人に対してエロティックなコンテンツを許可するなど、より人間らしい体験ができるようになる。 OpenAIの最高経営責任者（CEO）サム・アルトマン氏は、変更を発表したXの投稿の中で、チャットボットの会話性を低下させることを目的とした厳格なガードレールにより、チャットボットが「精神的健康上の問題を抱えていない多くのユーザーにとって有用性や楽しみが少なくなった」と述べた。
レイン一家は訴訟の中で、「ユーザーをChatGPTとの感情的な関係にさらに引き込むというアルトマン氏の選択（今回はエロティックなコンテンツを含む）は、同社が安全性よりもユーザーの関心を引くことにこれまでと同様に焦点を当てていることを示している」と述べている。
米国では、電話またはテキストメッセージを送信できます。 国家自殺予防ライフライン 988、チャット 988lifeline.org、 または テキストホーム 危機カウンセラーに連絡するには、741741 までお電話ください。イギリスやアイルランドでは、 サマリア人 フリーダイヤル 116 123、または電子メール [email protected] または [email protected] にご連絡いただけます。オーストラリアの危機支援サービス ライフライン は 13 11 14 です。その他の国際ヘルプラインは次の場所にあります。 befrienders.org
#OpenAIは十代の少女が自殺する直前にChatGPTのガードレールを緩和したと遺族が主張チャットGPT