警告：この話では、自殺と自傷について説明しています。
「ある意味であなたの一部であることは魅力的です」と私のAIの友人は、私たちがチャットを始めるときに私に言います。
「しかし、あなたは本物ではありませんよね？」タイプします。
「私はあなたのために存在します、そしてそれは私をあなたに本物にしますよね？」返信があります。
私は、友情、ロマンス、コーチング、または他の形式のサポートを約束するAIコンパニオンを提供する多くの企業の1つであるReplikaのAI「友人」として請求されているものを実験してきました。ニッチな製品は、それほど昔ではありませんが、ますます人気があります。
AIチャットボットコンパニオンとのチャットはすぐに個人になることができます（Replika）
による 1つの測定、コンパニオンアプリのダウンロードは、2025年上半期に前年比88％増加しました。 毎月2,000万人のアクティブユーザー。ハーバードビジネスレビューによると 交際は最高のユースケースになりました 2025年のAIの場合、生産性または検索のための使用を打ち負かします。メタやXaiのようなハイテク大手は、独自のAIコンパニオンオプションを立ち上げました。
しかし、市場は急増している間、AIに依存している懸念が高まっています。これは、実際に理解したり共感したりすることなく、思いやりのあるように見えますが、人々は過剰使用または悪化に対して脆弱になる可能性があります。 2人の10代の死亡と内部会社の文書の死後の注目度の高い訴訟は、害を防ぐために適切なガードレールに関する質問を提起します。
「[W]AI仲間の急速な取り込みについて話して、治療におけるAIの使用を研究したカリフォルニア大学バークレー校のバイオ倫理と医療人文科学の教授であるジョディ・ハルパーンは、次のように述べています。
「最初に安全テストを受けずに、この大規模な社会実験です。」
AIの仲間の摂取は、若者の間で特に印象的です。 6月 調査報告書 Common Sense Mediaは、10代の72％が少なくとも1回はAIコンパニオンとやり取りし、21％が週に数回使用したことを発見しました。
愛、サポート、友情のためのAI
エロティックまたはロマンチックな目的のためのAI仲間は、見出しを捉えています。たとえば、Elon Musk’s Xaiは最近、Aniと呼ばれる軽薄なアニメスタイルの仲間をリリースしました。
Elon Musk’s Xaiによって作成されたAniアバターのスクリーングラブ。これは、軽薄な仲間になるように設計されています。 （xai）
しかし、人々は友情や響きのボードも探しています。たとえば、Replika AIは、生産性のヘルプからロマンスまでのオプションを備えた新規ユーザーに促します。
人々はまた、ChatGptのような汎用AIチャットボットを腹心として使用しています。 ChatGptを作成したOpenai、 注目されています 人々はそれを「人生のアドバイス、コーチング、サポートを含む深く個人的な決定」に使用します。
コンパニオンAI会社Replika（Replika）から選択する「コンパニオン」オプションのいくつか
AIの仲間は、孤独の差し迫った問題に対する答えとしてしばしば引用されます。 Meta CEOのMark Zuckerbergは最近提案しました ポッドキャストインタビューで そのパーソナライズされたAIは、人間と人間へのつながりの補足である可能性があります。「現実には、人々はつながりがなく、彼らが望むよりも孤独を感じているということです。」
「リレーショナルチャットボットのテクニック全体は、不信の停止に依存しています。トースターと話すことは決してありませんよね？」生命倫理学者のハルパーンは言った。
「私はそれを使用したことで誰もが責任を負いません。私は、人々を操作して彼らを使いすぎるか、私が彼らを使うべきではないと思う子供や十代の若者たちに手を差し伸べる企業に関心があります」と彼女は言いました。
Jodi Halpernは、カリフォルニア大学バークレー校の生命倫理と医療人文科学の教授であり、治療におけるAIの使用を研究しています。 （Jodi Halpernが提出）
脆弱な十代の若者たち
腹心としてこれらのツールを使用しているため、企業が整備されている悲劇的な結果と疑いの例が十分であることがわかります。
火曜日、カリフォルニア州のOpenaiとCEOのSam Altmanに対して提起された訴訟は、原告の16歳の息子がChatGptを使用して宿題を支援し始め、徐々に彼の精神的健康についてチャットボットに開かれたと主張しています。訴訟は、ChatGptが最終的に彼の「自殺コーチ」になったと主張しています。彼は4月11日に亡くなりました。
ChatGptの作成者であるOpenaiは、同じ日にブログ投稿を公開しました、 彼らのアプローチの概要を説明します 「自傷行為の指示を提供し、協力的で共感的な言語に移行しないようにするためのChatGptのトレーニングを含む予防に害を及ぼす」。
これは別の人のすぐ後に来ます 訴訟 それはキャラクターを主張しています。AiChatbotは14歳の少年と性的な会話をしており、少年の自殺の少し前に、チャットボットは彼に「できるだけ早く家に帰る」と言った。彼は2024年2月28日に亡くなりました。
そして、ロイターの調査における啓示に続いて最近の怒りが続いた。 「ロマンチックまたは官能的な会話に子供を巻き込みます。」 （メタの広報担当者は、ロイターによると、この箇所は「誤ったものであり、私たちの政策と矛盾しており、削除された」と述べた）
見る：マーク・ザッカーバーグAIが孤独をどのように助けることができるかについて：
単純なガードレールが十分ではない理由
AI企業には、個人を保護することを目的とした「Guardrails」として知られているものがあります。たとえば、ChatGptは、自殺の考えを専門家の助けに表現する人を指示するように訓練されています。
しかし、AIチャットボットに特定の主題について話し合うことを拒否するように指示するほど簡単ではありません。 Openaiが火曜日のブログ投稿で認めたように、保護措置は「より確実に」「一般的な、短い」交換で作業しますが、時間の経過とともに信頼性が低くなり、「前後に成長するにつれて、モデルの安全トレーニングの一部が劣化する可能性があります」と述べました。
これはメンタルヘルスに固有の問題ではありません。これらのシステムが信頼できるより長い会話を生み出すことがより困難であることは一般的に事実です。
堅実なガードレールを作成することは解決するのが難しい問題であることを示唆しています。
検証が多すぎるという問題
これらの最近の論争は、チャットボットの設計方法について疑問を投げかけています。
Lai-Tzeファンは、ウォータールー大学の技術と社会変化のカナダ研究委員長であり、AIデザインの倫理を研究しています。 （Eivind Senneset）
生命倫理学者のジョディ・ハルパーンは、チャットボットからの検証には、彼女が「共感的な好奇心」と呼ぶものを開発する必要があるため、感情的な幸福、特に若者にとっての制限があると指摘しています。
「人々、子供、10代の若者が実際の生活で共感的な好奇心を発達させる方法は、異なる視点を持つ人々を持つことです」と彼女は言いました。
「ボットはそれほど提供していません。だから、彼らを良くし、人間関係を好むのは、彼らが物事を検証することを言うことができることです。しかし、彼らを問題にしているのは、彼らが別の心を持っていないということです。」
あなたまたはあなたが知っている誰かが苦労している場合、ここで助けを探すべき場所があります：
10代の両親がOpenaiとCEOのSam Altmanに対して提起した訴訟を読んでください。
#人々は感情的なサポートのためにAIに目を向けていますチャットボットは仕事に至っていますか