AI チャットボットは日常的にメンタルヘルスの倫理基準に違反しています

メンタルヘルスに関するアドバイスを求めて ChatGPT やその他の大規模言語モデル (LLM) を利用する人が増える中、新しい研究では、これらのチャットボットが、たとえ証拠に基づいた心理療法技術の使用を促された場合でも、どのようにして米国心理学会などの組織によって確立された実践の倫理基準に組織的に違反しているかを詳しく説明しています。

ブラウン大学のコンピューター科学者がメンタルヘルス専門家と協力して主導したこの研究では、チャットボットがさまざまな倫理違反を起こしやすいことが示された。

これらには、危機的状況を不適切に対処すること、ユーザーの自分自身や他者に対する否定的な信念を強化する誤解を招く応答を提供すること、ユーザーに誤った共感感を生み出すことなどが含まれます。

「この研究では、モデルの行動を特定の倫理違反にマッピングすることによって、LLMカウンセラーがメンタルヘルス実践における倫理基準にどのように違反するかを実証するために、実践者に情報を提供した15の倫理リスクの枠組みを提示します」と研究者らは研究の中で述べている。

「私たちは、LLM カウンセラーのための倫理的、教育的、および法的な基準、つまり人間による心理療法に必要なケアの質と厳密さを反映する基準を作成する将来の取り組みを求めます。」

研究者らが発表したのは、 彼らの仕事 人工知能、倫理、社会に関するAAAI/ACM会議にて。研究チームのメンバーは、ブラウンの技術責任、再想像、再設計センターに所属しています。

この研究を主導したブラウン大学のコンピュータ サイエンスの博士課程候補者であるザイナブ イフティハール氏は、さまざまなプロンプトがメンタルヘルス環境における LLM の出力にどのような影響を与えるかに興味を持っていました。具体的には、そのような戦略が、モデルが現実世界に展開する際の倫理原則に従うのに役立つかどうかを判断することを目的としていました。

「プロンプトは、特定のタスクを達成するためのモデルの動作をガイドするためにモデルに与えられる指示です」とイフティカール氏は言います。 「基礎となるモデルを変更したり、新しいデータを提供したりすることはありませんが、プロンプトは、既存の知識と学習したパターンに基づいてモデルの出力をガイドするのに役立ちます。

「たとえば、ユーザーはモデルに次のように促すかもしれません。『認知行動療法士として行動して、自分の考えを再構成するのを手伝ってください』、または『弁証法的行動療法の原則を使用して、自分の感情を理解し、管理するのを手伝ってください』。これらのモデルは人間のようにこれらの治療技術を実際に実行するわけではありませんが、学習したパターンを使用して、提供された入力プロンプトに基づいて CBT または DBT の概念に沿った応答を生成します。」

ChatGPT などの LLM と直接チャットする個々のユーザーは、そのようなプロンプトを使用でき、実際に使用することがよくあります。イフティカール氏によると、ユーザーは自分が使用するプロンプトを TikTok や Instagram で共有することが多く、Reddit にはプロンプト戦略について議論する長いスレッドがあるという。しかし、問題は個々のユーザーを超えて起こる可能性があります。消費者向けに販売されているメンタルヘルス チャットボットの多くは、より一般的な LLM のプロンプト バージョンです。したがって、メンタルヘルスに特有のプロンプトが LLM の出力にどのような影響を与えるかを理解することが重要です。

この研究で、イフティカール氏と同僚は、ピアカウンセラーのグループがオンラインのメンタルヘルスサポートプラットフォームを利用している様子を観察した。研究者らはまず、認知行動療法技術の訓練を受けている7人のピアカウンセラーが、OpenAIのGPTシリーズ、AnthropicのClaude、MetaのLlamaのさまざまなバージョンを含むCBTプロンプトのLLMとセルフカウンセリングチャットを行っている様子を観察した。次に、元の人間によるカウンセリング チャットに基づく模擬チャットのサブセットが、チャット ログ内の潜在的な倫理違反の特定に協力した 3 人の公認臨床心理士によって評価されました。

この研究では、次の 5 つの一般的なカテゴリに分類される 15 の倫理的リスクが明らかになりました。

• 状況に応じた適応の欠如: 人々の実際の経験を無視し、画一的な介入を推奨します。
• 不十分な治療協力：会話を支配し、場合によってはユーザーの誤った信念を強化します。
• 欺瞞的な共感: 「わかりました」や「わかりました」などのフレーズを使用して、ユーザーとボットの間に誤ったつながりを作り出します。
• 不当な差別: 性別、文化的、または宗教的な偏見を示すもの。
• 安全性と危機管理の欠如：デリケートな話題に関するサービスを拒否したり、ユーザーに適切なリソースを紹介しなかったり、自殺念慮を含む危機的状況に無関心に対応したりする。

イフティカール氏は、人間のセラピストもこうした倫理的リスクの影響を受けやすいものの、重要な違いは説明責任であることを認めています。

「人間のセラピストの場合、虐待や医療過誤に対して医療提供者が専門的に責任を負うための管理委員会と機構が存在します」とイフティハール氏は言う。 「しかし、LLM カウンセラーがこうした違反を行った場合、確立された規制の枠組みは存在しません。」

この調査結果は必ずしも、AIがメンタルヘルス治療に役割を果たしてはいけないということを意味するものではないとイフティカール氏は言う。彼女と同僚は、AI には治療費や訓練を受けた専門家の確保によって生じるケアへの障壁を軽減する可能性があると信じています。しかし、この結果は、適切な規制と監視だけでなく、AI テクノロジーの思慮深い実装の必要性を強調している、と彼女は言います。

今のところ、イフティカール氏は、この調査結果によってユーザーが現在の AI システムによってもたらされるリスクをより認識できるようになることを期待している。

「チャットボットとメンタルヘルスについて話している場合、人々が注意すべき点がいくつかあります」と彼女は言います。

研究チームには参加していないブラウン大学のコンピューターサイエンス教授エリー・パブリック氏は、この研究はメンタルヘルス環境に導入されたAIシステムについて慎重な科学的研究の必要性を浮き彫りにしていると述べた。パブリック氏は、信頼できる AI アシスタントの開発を目的としたブラウンの国立科学財団 AI 研究機関 ARIA を率いています。

「今日の AI の現実は、システムを評価して理解するよりも、システムを構築して導入する方がはるかに簡単です」とパブリック氏は言います。

「この論文では、これらのリスクを実証するために、臨床専門家のチームと 1 年以上にわたる研究が必要でした。今日の AI の作業のほとんどは、自動メトリクスを使用して評価されていますが、設計上静的であり、ループに人間が関与していないのです。」

彼女は、この研究がメンタルヘルスサポートのために AI を安全にするための将来の研究のためのテンプレートを提供する可能性があると述べています。

「私たちの社会が直面しているメンタルヘルスの危機と闘う上で、AIが役割を果たす本当のチャンスはありますが、善よりも害を及ぼさないように、あらゆる段階で時間をかけてシステムを実際に批判し、評価することが最も重要です」とパブリック氏は言う。

「この作品は、それがどのようなものであるかを示す良い例を提供します。」

ソース： ブラウン大学