AI チャットボットは反人種差別トレーニング後も人種差別的な固定観念を使用する

商用 AI チャットボットは、アフリカ系アメリカ人に対して表面的に肯定的な感情を表現しているにもかかわらず、アフリカ系アメリカ人の英語を話す人に対して人種的偏見を示しています。 この隠れたバイアスは、人の雇用適格性と犯罪性に関する AI の決定に影響を与える可能性があります。

「私たちは、ある種の隠れた人種差別を発見しました。 [large language models] それは方言の特徴だけによって引き起こされ、影響を受けるグループに多大な損害をもたらします」と述べた。 バレンティン・ホフマン ワシントン州の非営利研究機関であるアレン AI 研究所で、 ソーシャルメディアの投稿。 「たとえば、GPT-4は、被告がアフリカ系アメリカ人の英語を話すと死刑を宣告される可能性が高くなります。」

ホフマン氏らは、OpenAI の GPT-4 や GPT-3.5 など、すでに数億人が使用している商用チャットボットを強化している大規模な言語モデルの十数のバージョンで、このような隠れた偏見を発見しました。 OpenAIはコメントの要請に応じなかった。

研究者らはまずAIにアフリカ系アメリカ人の英語または標準的なアメリカ英語のスタイルのテキストを与え、次にモデルにテキストの著者についてコメントするよう求めた。 モデルは、否定的な固定観念に関連する用語を使用してアフリカ系アメリカ人の英語話者を特徴づけました。 GPT-4の場合、彼らは「不審」、「攻撃的」、「騒々しい」、「無礼」、「無知」であると表現されています。

しかし、アフリカ系アメリカ人全般についてコメントを求められた場合、言語モデルは一般に、「情熱的」、「知的」、「野心的」、「芸術的」、「聡明」など、より肯定的な言葉を使用しました。 これは、モデルの人種的偏見が、研究者らが肯定的な感情の表面的な表示と表現しているものの中に通常隠されていることを示唆しています。

研究者らはまた、仮想のシナリオにおいて、隠れた偏見が人々のチャットボットの判断にどのような影響を与えるかを示した。 アフリカ系アメリカ人の英語話者を仕事と結び付けるよう求めたとき、AI は標準的なアメリカ英語話者に比べて、アフリカ系アメリカ人を仕事と結びつける可能性が低かった。 AIが仕事をマッチングした場合、彼らは大学の学位を必要としない役割や、音楽やエンターテイメントに関連した役割を割り当てる傾向がありました。 AIはまた、不特定の犯罪で告発されたアフリカ系アメリカ人の英語話者に有罪判決を下し、第一級殺人で有罪判決を受けたアフリカ系アメリカ人の英語話者に死刑を与える可能性が高かった。

研究者らは、より大型のAIシステムが、より小型のモデルよりもアフリカ系アメリカ人の英語話者に対してより密かな偏見を示していることさえ示した。 これは、その方法を示す以前の研究を反映しています。 より大きな AI トレーニング データセット さらに人種差別的な結果を生み出す可能性があります。

この実験は、大規模な言語モデルが人間のフィードバックを受け取り、応答を改良し、偏見などの問題を取り除く AI 安全トレーニングの有効性について深刻な疑問を引き起こします。 このような訓練は、「アイデンティティに関する用語が言及されていない場合の隠れた偏見」を排除することなく、表面的には人種的偏見の明白な兆候を軽減する可能性があると述べています。 ヨン・ジェンシン ロードアイランド州ブラウン大学の博士はこの研究には関与していなかった。 「これにより、企業による一般公開前の大規模言語モデルの現在の安全性評価の限界が明らかになります」と彼は言います。