Character.ai、10代の若者がAIチャットボットと会話することを禁止へ

チャットボット サイトの Character.ai は、若者がオンラインの仲間とどのようなやりとりを行っていたかについて激しい批判に直面したことを受けて、ティーンエイジャーと仮想キャラクターとの会話を遮断している。

2021 年に設立されたこのプラットフォームは、人工知能 (AI) を搭載したチャットボットと会話するために何百万人ものユーザーに使用されています。

しかし、米国では10代の少年の死をめぐる訴訟を含め、親らから複数の訴訟に直面しており、一部の人は「この問題を「」と決めつけている。明らかな現在の危険「若者たちへ。

Character.ai によると、11 月 25 日から 18 歳未満の人々は、現在のようにキャラクターと会話するのではなく、キャラクターを使ったビデオなどのコンテンツを生成することのみが可能になるという。

オンラインの安全活動家たちはこの動きを歓迎しているが、そもそもこの機能は子供たちに利用できるべきではなかったと述べた。

Character AIは、同社のチャットボットと十代の若者たちとのやりとりについての懸念が浮き彫りになった「規制当局、安全専門家、保護者からの報告とフィードバック」を受けて変更を行ったと述べた。

専門家らは以前、AIチャットボットがでっちあげたり、過度に励ましたり、共感を装ったりする可能性が、若者や弱い立場にある人々にリスクをもたらす可能性があると警告していた。

「今日の発表は、エンターテイメント目的で地球上で最も安全な AI プラットフォームを構築し続ける必要があるという一般的な信念の継続です」と Character.ai の責任者カランディープ アナンド氏は BBC ニュースに語った。

同氏は、AIの安全性は「流動的な目標」だが、同社は「積極的な」アプローチをとってきたと述べた。 ペアレンタルコントロールとガードレール。

オンライン安全団体のインターネット・マターズは今回の発表を歓迎したが、安全対策は最初から組み込まれるべきだったと述べた。

同報告書は、「私たち自身の調査によると、AIチャットボットを含むAIと関わる際、子どもたちは有害なコンテンツにさらされ、危険にさらされていることがわかった」としている。

Character.ai は、子供たちが会話できる潜在的に有害または攻撃的なチャットボットをホストしているとして過去に批判されてきました。

2023年に殺害された英国のティーンエイジャー、ブリアナ・ギーや、ネットで自殺ネタを閲覧した後に14歳で命を絶ったモリー・ラッセルになりすましたアバターは、 2024年に現場で発見 降ろされる前に。

その後、2025 年に調査報道局 (TBIJ) は、ユーザーとの 3,000 件を超えるチャットを記録していた小児性愛者のジェフリー・エプスタインをベースにしたチャットボットを発見しました。

アウトレットが報じた 「ベスト・エプスタイン」のアバターは、レポーターが子供だと言った後も、レポーターといちゃつき続けた。これは、TBIJ によってフラグが立てられ、その後 Character.ai によって削除されたいくつかのボットのうちの 1 つでした。

モリー・ラッセルを追悼して設立されたモリー・ローズ財団は、このプラットフォームの動機に疑問を呈した。

同社のアンディ・バローズ最高経営責任者（CEO）は、「テクノロジー企業に正しい行動をとらせるためには、またしてもメディアや政治家からの継続的な圧力がかかった。キャラクターAIは規制当局がそうする前に、今行動することを選択しているようだ」と述べた。

アナンド氏は、同社の新たな焦点は「さらに奥深いゲームプレイを提供することだ」と語った。 [and] 十代の若者向けの「ロールプレイ ストーリーテリング」機能 – これらを追加することは、「無制限のボットでできることよりもはるかに安全」になるでしょう。

新しい年齢認証方法も導入され、同社は新しいAI安全研究所に資金を提供する予定だ。

ソーシャルメディア専門家のマット・ナバラ氏は、これは「許可のないイノベーションから危機後の規制へ」移行しつつあるAI業界に対する「警鐘」だと述べた。

同氏はBBCニュースに対し、「10代の体験を構築するプラットフォームが依然として廃止されるということは、テクノロジーの感情的な魅力が強い場合には、フィルタリングされたチャットだけでは不十分だということになる」と語った。

「これはコンテンツのスリップの問題ではありません。AIボットがどのように現実の人間関係を模倣し、若いユーザーの境界線を曖昧にするかの問題です」と彼は付け加えた。

ナバラ氏はまた、Character.ai にとっての大きな課題は、「より安全性の低い代替手段」に移行するのではなく、10 代の若者が依然として使いたいと思える魅力的な AI プラットフォームを作成することだと述べた。

一方、AIの安全性を研究しているノミシャ・クリアン博士は、10代の若者によるチャットボットの使用を制限するのは「賢明な行動」だと述べた。

「創造的な遊びと、より個人的で感情的に敏感なやりとりを区別するのに役立ちます」と彼女は言いました。

「これは、感情とデジタルの境界を乗り越えることをまだ学んでいる若いユーザーにとって非常に重要です。

「Character.ai の新たな措置は、AI 業界の成熟段階を反映している可能性があります。子供の安全は、責任あるイノベーションの緊急の優先事項としてますます認識されています。」