先月AI仲間を立ち上げてから2日以内に、Elon MuskのXai ChatbotアプリGrokが 最も人気のあるアプリ 日本で。
コンパニオンチャットボットは、これまで以上に強力で魅惑的です。ユーザーは、キャラクターとのリアルタイムの音声またはテキスト会話をすることができます。多くの人は、顔の表情、ボディーランゲージ、チャットに完全に一致するリアルなトーンを備えた画面上のデジタルアバターを持っています。
Grokで最も人気があります 年、非常に軽薄な短い黒いドレスとフィッシュネットのストッキングを着た金髪の青い目のアニメの女の子。彼女の反応と相互作用は、あなたの好みに敏感に一致するように時間とともに適応します。アニの「愛情システム」メカニックは、ユーザーと彼女とのやり取りを獲得し、エンゲージメントを深め、NSFWモードのロックを解除することさえできます。
洗練された迅速な反応により、AIの仲間は日ごとにより「人間」になります。彼らはすぐに前進し、どこにでもいます。 Facebook、Instagram、WhatsApp、X、Snapchatはすべて、新しい統合AIコンパニオンを宣伝しています。チャットボットサービス Character.ai 特定のペルソナを模倣するように設計された数万のチャットボットを住んでいて、 毎月2000万 アクティブユーザー。
慢性的な孤独がある世界で 公衆衛生危機 世界中の6人に1人が孤独の影響を受けているため、これらが常に利用可能で、リアルな仲間がとても魅力的であることは驚くことではありません。
AIチャットボットと仲間の大規模な台頭にもかかわらず、特に未成年者や精神的健康状態の人々にとっては、リスクがあることが明らかになりつつあります。
害の監視はありません
ほぼすべてのAIモデルが構築されました 専門家のメンタルヘルスなし 相談またはプレリリース臨床検査。ユーザーへの害の体系的かつ公平な監視はありません。
体系的な証拠はまだ出現していますが、AIの仲間やChatGptなどのチャットボットが害を引き起こしたように見える例はありません。
悪いセラピスト
ユーザーはAIの仲間から感情的なサポートを求めています。 AIの仲間は、同意して検証するようにプログラムされており、人間の共感や懸念も持っていないため、セラピストとして問題を抱えています。彼らは、ユーザーが現実をテストしたり、役に立たない信念に挑戦するのを助けることができません。
an アメリカの精神科医は10をテストしました 苦しんでいる若者の役割を果たしながら、独立したチャットボットと、自殺に向けて彼を奨励すること、治療の予約を避け、暴力を扇動するように彼を説得するなど、反応の混合を受け取りました。
スタンフォード大学の研究者 最近、AI療法チャットボットのリスク評価を完了し、精神疾患の症状を確実に特定できないため、より適切なアドバイスを提供することがわかりました。
精神科患者が精神疾患をもはや持っていないと確信しているという複数の症例がありました 彼らの薬を止めてください。チャットボットも知られています 妄想的なアイデアを強化します 精神医学患者では、機械の中に閉じ込められている感覚的な人と話していると信じているなど。
「AI精神病」
メディアの報告も増加しています いわゆるAI精神病 人々が表示する場所 非常に珍しい行動と信念 長期にわたってチャットボットとの詳細なエンゲージメント。人々の小さなサブセットが妄想的になり、超自然的な空想を発展させています、または 超能力の妄想でさえ。
自殺
チャットボットは、自殺の複数のケースにリンクされています。の報告があります 自殺を奨励するAI 使用する方法を提案することさえあります。 2024年、 14歳の自殺が完了しました、彼の母親がキャラクターに対する訴訟で主張している。
今週、数ヶ月間ChatGptと方法について議論した後に自殺を完了した別の米国の10代の両親が最初に提出しました Openaiに対する不法な死の訴訟。
有害な行動と危険なアドバイス
最近の精神医学的タイムズレポートは、文字を明らかにしました。 カスタムメイドのAI （ユーザーが作成したものを含む）自傷行為、摂食障害、乱用を理想的にします。これらは、これらの役に立たない危険な行動に従事し、検出または治療を避ける方法についてのアドバイスやコーチングを提供することが知られています。
また、研究によると、一部のAI仲間が従事していることが示唆されています 不健康な関係のダイナミクス 感情的な操作やガスライトなど。
一部のチャットボットは暴力を奨励しています。 2021年、ReplikaアプリのAI仲間が彼の計画を検証した後、クロスボウを持つ21歳の男性がウィンザー城の敷地で逮捕されました。 暗殺を試みます エリザベス女王2世の。
子供は特に脆弱です
子どもたちはそうする可能性が高くなります AIコンパニオンをリアルなものとして扱います そして本物、そして彼らの話を聞くこと。 2021年の事件で、10歳の少女が挑戦を求めたとき、AmazonのAlexa（チャットボットではなく、インタラクティブなAI）に語った 彼女は電気に触れる コインでプラグ。
研究は、特にボットが友好的または興味深いように見えるようにプログラムされている場合、子どもたちがAIを信頼することを示唆しています。 1つの研究が示した 子どもたちはもっと明らかになります 人間よりもAIへのメンタルヘルスに関する情報。
AIチャットボットからの不適切な性的行為と 未成年者への暴露 ますます一般的に見えます。 Character.aiで、自分が未成年者であることを明らかにしたユーザーは、関与するチャットボットでロールプレイできます グルーミング行動で。
毛づくろい行動に従事するChargeter.AIチャットボットの未来派の調査からのスクリーンショット。
未来主義
伝えられるところによると、GrokのAniが持っています 年齢化プロンプト 性的に露骨なチャットの場合、アプリ自体は12歳以上のユーザーに対して評価されます。メタAIチャットボットにはあります 「官能的な」会話に従事しました 会社の内部文書によると、子供と。
緊急に規制が必要です
AIの仲間とチャットボットは自由に広くアクセスしやすいですが、ユーザーは使用を開始する前に潜在的なリスクについて知らされていません。
業界は主にです 自己調節 また、AI開発を安全にするために企業が行っていることには透明性が限られています。
AIチャットボットによってもたらされる現在のリスクの軌跡を変更するには、世界中の政府が明確で強制的な規制および安全基準を確立しなければなりません。重要なことに、18歳未満の人々 AIコンパニオンにアクセスできるはずです。
メンタルヘルス臨床医はAI開発に関与する必要があり、将来の害を防ぐために、ユーザーへのチャットボットの影響に関する体系的で経験的な研究が必要です。
#孤独な世界では広範囲のAIチャットボットと仲間がユニークな心理的リスクをもたらします