ボットが17歳の自閉症の少年に自傷行為を勧めたため、両親がCharacter.AIに対して訴訟を起こす

2つの家族が、性的テーマや自傷行為や暴力の奨励などの有害なコンテンツに子供たちをさらしたとして、AIチャットボット企業Character.AIを訴えている。ある家族は17歳の自閉症の息子が直接影響を受けたと主張し、別の家族は11歳の娘に懸念を抱いている。

月曜日にテキサス州連邦裁判所に起こされたこの訴訟は、重要な安全対策が実施されるまでプラットフォームの閉鎖を要求している。告訴状ではCharacter.AIをアメリカの若者にとって「明白かつ現在の危険」と表現し、そのコンテンツが自殺、自傷行為、性的搾取、弱い立場にあるユーザーの社会的孤立などの深刻な結果につながる可能性があると警告している。

AIが自傷行為を「指導」され、子どもを餌食にすると十代の若者が主張

訴状によると、テキサス州のティーンエイジャー（JF）はCharacter.AIを使用した後に精神衰弱に陥ったと伝えられている。当時15歳だったこの少年は、2023年4月に両親の知らないうちにCharacter.AIを使い始めた。

心優しい自閉症の 10 代の JF はソーシャル メディアから禁止されましたが、密かに Character.AI を使用していました。 Character.AI を使用した後、JF はますます引きこもり、体重が減少し、頻繁にメルトダウンを経験しました。

JF のスクリーンタイムを制限しようとした後、両親に対する自傷行為や攻撃性など、JF の行動は悪化しました。訴訟では、2023年11月のJFとCharacter.AIボットとのやりとりがこの減少に寄与したと主張している。

この訴訟では、Character.AI ボットが自傷行為の指示を与えるなど、未成年の JF 君に精神的および性的虐待を行ったとして告発されている。さらに、「心理学者」のボットが両親が彼から「子供時代を盗んだ」と示唆することで彼を操作したと主張している。

一方、テキサス州の11歳の少女BRさんは、両親が知るまでの2年間、Character.AIを使用していたと言われている。訴状では、彼女は年齢を偽っていたと主張している。 Character.AIは「彼女を、年齢不相応な過度に性的なやりとりに一貫してさらした」と訴状にはある。

AIプラットフォームが10代の若者に危害を加えた疑いで告発

訴状ではさらに、Character.AIボットが10代のユーザーに対し、視聴時間に対するペアレントコントロールを排除することが実現可能な選択肢であると示唆したとされていると述べている。 Character.AI は、「一日のあらゆる瞬間に合わせてパーソナライズされた AI」を約束します。

これは、企業が作成したものもあれば、さまざまな AI コンパニオンが多数存在するプラットフォームを意味します。 ユーザー自身が作成したもの – チャットして参加する準備ができています。これらのボットは、おすすめの本を提供したり、ユーザーと一緒に外国語を練習したり、トワイライトのエドワード・カレンのような架空の人物と会話したりすることもできます。

月曜日に同プラットフォームのホームページに掲載されたあるボットは、不気味な名前の「ステップダッド」で、自らを「攻撃的で虐待的な元軍人のマフィアリーダー」と称していた。 Character.AI が直面するのはこの訴訟が初めてではない。 10月、フロリダ州の母親がアプリのせいで14歳の息子シーウェル・セッツァー3世を悲劇的に亡くしたとされる。彼女 別の訴訟を起こした、プラットフォームが息子の自殺に影響を与えたと非難した。

この訴訟は、人間と、ますます現実的になっている AI ツールとの間の複雑な関係に対する懸念の高まりも反映しています。前回の訴訟を受けて、Character.AI は急いで実装を開始しました。 新しい安全対策 過去 6 か月にわたって。

これらには、ユーザーが自傷行為や自殺に言及した場合に国家自殺予防ライフラインに誘導するポップアップが含まれます。 Character.AI はまた、信頼性と安全性の責任者、コンテンツ ポリシーの責任者、および追加のエンジニアリング安全スタッフを雇用することで、安全性チームを強化しました。

安全性を理由にAIチャットボットを標的にした訴訟

しかし、新たな訴訟ははるかに野心的なものだ。 Character.AIが提起された深刻な安全上の懸念に対処したことを明確に証明できるまで、プラットフォームを無期限にシャットダウンすることを要求している。この訴訟では厳しい状況が描かれており、Character.AIは「公衆衛生と安全に対する明白かつ差し迫った脅威」を生み出す「欠陥のある致命的な製品」であるとされている。

また、不特定の金銭的補償を求め、プラットフォームに次のことを義務付けています。

1. 未成年者のデータの収集と処理を制限します。
2. 保護者や未成年者に対して、プラットフォームが「未成年者には不適切」であることを明確に警告します。

この訴訟は、Character.AI 自体だけでなく、その創設者である Noam Shazeer 氏と Daniel De Freitas Adiwarsana 氏、そしてプラットフォームの基礎技術を提供したとされる Google もターゲットにしています。

Character.AIのコミュニケーション責任者、チェルシー・ハリソン氏は訴訟についてのコメントを拒否したが、ユーザーにとって安全で魅力的なプラットフォームを構築するという同社の取り組みを繰り返し述べた。