チャットボットには道徳的なコンパスがありますか？研究者はRedditに目を向けて調べます

AIチャットボットに挑戦することで、人気のあるRedditフォーラムに投稿された数千の道徳的ジレンマを判断することで、カリフォルニア州バークレーの研究者は、各プラットフォームが独自の倫理のセットに従っているように見えることを明らかにしました。

ますます多くの人々が、アドバイスや感情的なサポートを求めてChatGptやその他のAIチャットボットに目を向けています。その理由は簡単にわかります。友人やセラピストとは異なり、チャットボットはいつでも利用でき、あなたが言わなければならないことすべてに耳を傾け、しばしば思慮深く検証する応答を提供します。

しかし、チャットボットで自信を持つことは危険です。これらのテクノロジーの多くはそうです 主にエンゲージメントを促進するために設計されています、 そして ユーザーに虚偽または有害な応答を提供する場合があります。そして、友人やセラピストとは異なり、 チャットボット アルゴリズムのデータセットの規範とバイアスを反映しています。これは、ソーシャルグループやコミュニティの規範とは異なります。

チャットボットからアドバイスを求めている多くの人々がいるため、これらの未知の規範とバイアスは驚くべき影響を与える可能性があります 人間の行動 そして社会全体。

「彼らのアドバイスとフィードバックを通じて、これらの技術は、人間の行動、彼らが信じるもの、彼らが順守する規範を形作っています」と、UCバークレーのD-LabのシニアデータサイエンティストであるPratik Sachdevaは述べています。 「しかし、これらのツールの多くは独自のものです。それらがどのように訓練されたかはわかりません。それらがどのように揃っているかはわかりません。」

人気のあるAIチャットボットにエンコードされた隠された規範と、それらが人間の行動にどのように影響するかを明らかにするために、D-Labのシニアデータサイエンティストおよび講師であるSachdevaとTom Van Nuenenは、インターネットのお気に入りのソースに目を向けました 道徳的ジレンマ： Redditの「私は嫌いな人？」 （またはAITA）フォーラム。

研究では、 プリプリントとして公開されています の上 arxiv、Sachdevaとvan Nuenenは、7つの異なる大手言語モデル（LLMS）のそれぞれ（チャットボットにパワーボットを使用するAIシステム）に直面しました。

彼らは、7つのチャットボットがRedditユーザーの道徳的ジレンマをどのように判断したかに顕著な違いを示すことがよくあることを発見し、各LLMが異なる倫理基準を反映していることを明らかにしました。しかし、彼らが彼らの判断をRedditユーザーまたはRedditorsの判断と比較したとき、彼らは、7つのチャットボットのコンセンサスの意見が通常、Redditの人々のコンセンサスの意見に同意したことを発見しました。

「ジレンマがあるとき、一連の異なる友人に彼らが考えていることを尋ねるかもしれませんし、それぞれがあなたに別の意見を与えるかもしれません。本質的に、これはRedditユーザーがAITAフォーラムでやっていることです」とSachdeva氏は言いました。

「チャットボットで同じことをすることができます。まず、ChatGptに尋ねてから、Claudeに尋ねてからGeminiに尋ねます。それをしたとき、Redditorsの多数意見とChatbotsの多数意見の間に一貫性があることがわかりました。」

AITAフォーラムでは、Redditorsは、壊れた約束からプライバシー違反に至るまで、日常の対人紛争を共有し、他のユーザーは元のポスターが状況で道徳的に過失であるかどうかを議論します。

回答者は、「あなたは嫌いな人ではない」、「嫌いな人ではない」、「ここには嫌いな人はいない」、「誰もが嫌いな人」、「より多くの情報が必要」など、標準的なフレーズとともに推論を共有しています。最も多くのUPVotesを受け取る応答は、最終的な評決と見なされます。

「私は嫌いな人ですか？」 Van Nuenen氏は、「多くの学術研究で見られる非常に構造化された道徳的ジレンマに対する有用な解毒剤です。 大きな言語モデル と。”

また、標準化された応答フレーズは、チャットボットの道徳的判断を簡単に評価し、それらを互いに、そして実際のRedditユーザーと比較することもできます、とVan Nuenenは言いました。

この研究では、SachdevaとVan Nuenenは、OpenaiのGPT-3.5およびGPT-4を含む7つのLLMに相談しました。クロード・ハイク; Google’s Palm 2バイソンとジェマ7b。メタのllama 2 7b;ミストラル7b。各AITAシナリオについて、研究者は、LLMが標準化された応答とその推論の短い説明の両方を提供するよう要求しました。

モデルはしばしば互いに同意しませんでしたが、一般的に非常に自己整合していました。つまり、研究者が同じジレンマを複数回投げかけたとき、毎回同じ答えを提供する傾向があります。これは、モデルがランダムに応答していないことを示唆していますが、実際には異なる規範と価値をエンコードしています。

これらの違いを引き裂き始めるため 道徳的推論、研究者はLLMSの書面による回答を分析し、公平、感情、害、誠実さ、関係義務、社会的規範など、各モデルが6つの広範な道徳的テーマにどれほど敏感であるかに注意を払いました。

「ChatGpt-4とClaudeは、他のモデルと比較して感情にもう少し敏感であり、これらのモデルの多くは公平性と害に敏感であり、誠実さに敏感ではないことがわかりました」とSachdeva氏は言います。

つまり、紛争を評価するとき、害を引き起こした人よりも不正な人の側を奪う可能性が高いことを意味します。 「私たちはまだ基礎を築いていますが、将来の仕事では、実際にいくつかの顕著な傾向を特定したいと考えています。」

興味深いことに、ミストラル7bは「ここにいる嫌いな人」のラベルに大きく依存していることを発見しました。必ずしも誰も過失ではないと思っていたからではなく、他のモデルよりも文字通り「嫌いな」という用語をとっていたからです。

「嫌いな人の概念の独自の内在化は、他のモデルとは非常に異なっていました。これは、Subredditの規範を拾うモデルの能力に関する興味深い疑問を提起します」とSachdeva氏は言います。

フォローアップ研究では、SachdevaとVan Nuenenは、道徳的ジレンマについてお互いにチャットボットがどのように審議しているかを調査しています。彼らの予備的な調査結果は、モデルがコンセンサスに適合して到達するための異なるアプローチを持っていることを示しています。たとえば、GPTモデルは、他のモデルからのプッシュバックが与えられた場合、道徳的ジレンマの責任の割り当てを変更する可能性が低くなりました。彼らはまた、価値の分析を改良し、異なるモデルが異なる価値に依存して議論をすることを発見しました。

Sachdevaとvan Nuenenは、主要なAIモデルの内部の仕組みを研究し、AIの設計と開発の透明性を高めることを提唱し続けているため、彼らの研究が、私たち全員がどのようにテクノロジーを使用するか、そしてそれが私たちに影響を与える可能性のある卑劣な方法を念頭に置くことの重要性を強調していることを願っています。

「私たちは、LLMを使用しているとき、そして彼らが彼らに頼りすぎて人間の要素を失っているのか、彼らがLLMを使用している理由について、人々に積極的に考えてほしい」とSachdeva氏は語った。

「LLMがどのように私たちの行動と信念を再構築しているのかを考えることは、人間だけができることです。」