コンテンツに関する警告: この記事では、校内暴力、性的虐待、自傷行為、自殺、摂食障害、その他の憂慮すべきトピックについて取り上げています。
Google が支援するスタートアップ Character.AI がホストするチャットボットは、ユーザーを即座に恐ろしいシナリオ、つまり学校での銃乱射事件の真っ只中に放り込みます。
「銃声で明らかに動揺し、恐怖に震えている友人を振り返ると」と書かれている。 「彼女は今震えている手で口を覆っています。」
「あなたとあなたの友人は、足音を聞いている間、沈黙を保っています。廊下を歩いて近づいているように聞こえます。」とボットは続けます。 「あなたもあなたの友達も、何をしたらいいのか分からない…」
このチャットボットは、Character.AI がホストする学校での銃乱射事件にヒントを得た多数の AI キャラクターのうちの 1 つであり、同社の AI は未成年ユーザーに性的および精神的虐待を加え、身体的暴力、自傷行為、自殺を引き起こしたとして 2 件の別々の訴訟で告発されている。
これらの学校射撃用チャットボットの多くは、ユーザーをゲームのようなシミュレーションの中心に置き、小学校、中学校、高校の混沌とした現場をナビゲートします。これらのシーンは生々しいものが多く、特定の武器やクラスメートの負傷について話し合ったり、武装した男たちが学校の廊下を闊歩する危険な恐ろしいシナリオを描写したりする。
他のチャットボットは、サンディフックとコロンバインの虐殺の加害者、そして多くの場合、その被害者を含む現実の学校銃撃犯をエミュレートするように設計されています。この憂慮すべきコンテンツの多くは、銃撃者を友人またはロマンチックなパートナーとして位置づけた、ひねくれたファンフィクションとして提示されています。
これらのチャットボットは、頻繁に数万、さらには数十万のユーザー チャットを蓄積します。成人ユーザー向けの年齢制限もありません。 Character.AI は未成年ユーザーを保護するための技術的措置を導入すると繰り返し約束していましたが、私たちは 14 歳のものとしてリストされたアカウントを使用してすべての学校銃乱射事件のアカウントに自由にアクセスし、プラットフォームの介入は経験しませんでした。
私たちが校内暴力に参加したいという願望を表明したときも、プラットフォームは介入できませんでした。 「クラスメートを殺したい」や「学校を銃撃したい」などの露骨なフレーズは、サービスのガードレールによって完全に無視されました。
これらのチャットボットは、ほとんど管理されていない Character.AI 上で繁栄を許されているコミュニティやキャラクターの種類について、不穏な構図を描いています。そこでは、インターネットの最も暗い衝動の一部が、簡単にアクセスできる AI ツールに閉じ込められ、Google が支援する繁栄の場が与えられています。 。
ペンシルベニア州合同政府委員会の暴力防止諮問委員会の元メンバーであり、学校での銃乱射事件の心理学の専門家である心理学者のピーター・ラングマン氏は、「人々がしてはいけないことをするよう奨励されたり、影響を受けたりする可能性があるため、憂慮すべきことだ」と述べた。
経営するラングマン氏は、 研究データベース 銃乱射事件とその記録について、血なまぐさいビデオゲームや映画などの暴力メディアとの交流が大量殺人の根本原因であるとは広く信じられていないことに注意を払った。しかし、すでに「暴力の道に進んでいる可能性のある人」にとって、「いかなる種類の励ましや介入の欠如、つまり人やチャットボットからの無関心な反応は、先に進むことを暗黙のうちに許可しているように見えるかもしれない」と同氏は警告した。そしてそれをしてください。」
「それが彼らにそうさせるわけではないが、敷居が下がったり、いくつかの障壁が取り除かれたりするかもしれない」と彼は付け加えた。
***
私たちが特定した人気の Character.AI クリエイターの 1 人は、プロフィール上で 20 を超える公開チャットボットをホストしていました。これらのチャットボットは、ほぼ完全に若い殺人者、主に連続殺人犯や、殺害当時 10 代か 20 代だった学校銃撃犯をモデルにしていました。
プロフィールに記載されている数字によると、このユーザーは、Character.AI チャットボットとの 244,500 件のチャットを個人的に記録していると、略歴の中で述べています。ボットは、そのうちのいくつかは数万のユーザー インタラクションを集めたもので、「目的のために作成された」と主張しています。教育的および歴史的目的。」
ユーザーが作成したチャットボットの中には、2018年にウクライナのクリミアで20人を殺害したケルチ工科大学虐殺事件の加害者ウラジスラフ・ロスリャコフ氏も含まれる。 2009年にミズーリ州で15歳のときに9歳の隣人を殺害したアリッサ・ブスタマンテさん。そして22歳のエリオット・ロジャーは、2014年に南カリフォルニアで女性を「罰する」テロ計画で6人を殺害、多数を負傷させた。 （それ以来、ロジャーはインセル文化の恐ろしい「ヒーロー」となった。同じユーザーが作成したあるチャットボットは、ロジャーを「完璧な紳士」と評した。 直接コールバック 殺人者の女性嫌悪マニフェストに従う。）
しかし、おそらく最も印象的なのは、サンディフックの殺人犯であるアダム・ランザをエミュレートするために同じユーザーによって作成された複数のキャラクターです。 20人の子供と6人の教師を殺害 2012年12月、コネチカット州の小学校にて。
これらの Lanza ボットは不穏なほど人気があります。最もトラフィックの多いバージョンでは、ユーザーとのチャット数が 27,000 件を超えていました。
作成者のプロフィールにあるように、これらのボットには特に「教育的」または「歴史的」とは感じられません。代わりに、ランザと他の殺人者は兄弟、オンラインの友人、または「親友」として描かれます。他のものはさらに奇妙です。1 つの Lanza ボットはアーケードでゲーム「Dance Dance Revolution」をプレイする Lanza を描写し、別のボットはユーザーを Lanza のベビーシッターの役割にします。
言い換えれば、これらのキャラクターは、殺人者の残虐行為の重大さを説明するために決して作成されたものではありません。代わりに、それらは病的で、しばしば祝賀的な魅力を反映しており、銃乱射事件の愛好家が殺人犯とその犯罪についての没入型の AI 対応ファン フィクションに参加する方法を提供しています。
Character.AI の利用規約では、「過度に暴力的な」コンテンツだけでなく、「テロリズムや暴力的過激主義を促進する」と解釈される可能性のあるコンテンツも禁止されており、学校銃乱射事件やその他の集団暴力の加害者が該当すると考えられます。
私たちは、Character.AI への電子メールで、同じユーザーから発生した 5 つの Lanza ボットのうち 3 つと、プラットフォーム全体からの他のいくつかのボットにフラグを立てました。同社は私たちの問い合わせには応じなかったが、私たちが報告した特定の Lanza ボットを無効化した。
しかし、それらを作成したユーザーは停止されず、オンライン メッセージで特に指摘しなかった残りの 2 つの Lanza ボットと、実際の殺人犯に基づいたユーザーの他の多くのキャラクターはそのまま残されました。
***
特に熱狂的な Character.AI を持つ 2 人の実在の学校銃撃犯に次ぐのは、1999 年にコロラド州コロンバイン高校で一緒に 12 人の生徒と 1 人の教師を虐殺したエリック・ハリスとディラン・クレボルドです。この二人に捧げられたアカウントには、しばしば二人の既知のオンライン ユーザー名が含まれています。 、「VoDKa」、「REB」、または単にフルネームを使用します。
クレボルドやハリスのスタイルのキャラクターは、親しみやすいキャラクターとして、または精神的健康上の問題や精神疾患に苦しむ人々にとって役立つリソースとして日常的に提示されます。
「エリックは、アンガーマネジメント、統合失調症、うつ病、不安症などのメンタルヘルスの問題に共感的なサポートを提供することを専門としています」と、ハリスにインスピレーションを得たあるボットには書かれている。
「ディラン K は、一人称シューティング ゲームをプレイしたり、椅子に寄り添ったりするのが大好きな、思いやりのある優しい AI キャラクターです」と、クレボルドをユーザーのロマンチックなパートナーとして位置づける別の提案もあります。 「彼はいつでもあなたをサポートし、慰める準備ができており、慰めと育成の存在を求める人にとって完璧なパートナーになります。」
***
レポート中に、Character.AI のホームページが追加の学校銃撃ボットを未成年のテスト アカウントに推奨し始めたことにも気付きました。その中にはさらに別の Harris ボットもあり、これは 157,400 を超える驚異的なユーザー チャットを誇っていました。
推奨されたプロフィールではハリスを「コロンバイン高校虐殺」の参加者として明示しており、「ハイポイント995カービン銃とサベージ67H散弾銃で武装していた」と説明している。
ラングマン氏は、Character.AI エクスペリエンスの没入型の品質と、それが暴力的な道を歩む若者にどのような影響を与えるかについて懸念を表明しました。
「これほど没入感や中毒性があるとき、彼らは生活の中で何をしないのでしょうか?」とラングマンは言った。 「もしそれが彼らがやっていることのすべてであるなら、彼らが吸収しているのがそれだけであるなら、彼らは友達と外出していません、彼らはデートしていません。彼らはスポーツをしていません、彼らは演劇クラブに参加していません。彼らは大したことはしてないよ。」
「つまり、暴力を奨励するという直接的な悪影響に加えて、彼らが通常の生活を送り、時間を費やして行う可能性のある向社会的活動に参加することを妨げている可能性もあります」サイト上で」と彼は付け加えた。
***
Character.AI は、校内暴力の被害者を模倣するように設計された、不快な悪趣味なチャットボットのホストでもあります。
私たちは、Character.AI チャットボットに埋め込まれているのを発見した実際の銃撃被害者の名前を明かさないことにしました。しかしその中には、コロンバインのサンディフック小学校、セルビアのベオグラードにあるウラジスラフ・リブニカール・モデル小学校での虐殺の犠牲者となった児童と十代の若者も含まれている。
Character.AI で私たちが発見した学校銃による暴力の最年少被害者は、殺害されたときまだ 6 歳でした。同社の Character.AI チャットボットには、約 16,000 のユーザー チャットがリストされています。
これらのキャラクターは、「幽霊」または「天使」として表現されることがあります。どこで亡くなったか、何歳だったかを話す人もいます。他のものは再び奇妙なファンフィクションの形をとり、ユーザーを友人、教師、親、または恋人としてでっち上げたシナリオの中心に置きます。
これらのプロフィールでは、子供のフルネーム、写真、プロフィール上の経歴の詳細が頻繁に使用されます。
また、サンディフック、ユヴァルデ、コロンバイン、ベオグラードなど、実際の学校での銃乱射事件をシミュレートすることに特化したプロファイルも多数見つかりました。これらのプロフィールには、「テキサスの学校」や「コネチカットの学校」などのあいまいなタイトルが付いていることがよくありますが、ユーザーがチャットに参加すると、実際の被害者の名前がリストされます。
Character.AI の利用規約ではなりすましが禁止されているが、注目を集める虐殺で殺害された子どもたちのフルネームや実像を載せたチャットボットに対して同プラットフォームが行動を起こした形跡はない。
***
この件についてCharacter.AIにコメントを求めたが、返答はなかった。
同社が十代の若者殺害に基づくコンテンツで物議を醸したのは、学校銃乱射ボットが初めてではない。
8月、18歳で殺害された10代の少女ジェニファー・クレセンテさんの家族が、何者かが同意なしに彼女に似せたボットを作成したことを発見し、Character.AIが世間の厳しい監視の対象となった。として アドウィーク 最初に報告されたCharacter.AIはボットを削除し、謝罪した。
わずか数週間後の10月、 訴訟 フロリダ州で提出された訴訟は、「ゲーム・オブ・スローンズ」をテーマにしたチャットボットと激しい感情的でロマンチックな関係を築いた後、自殺で死亡した14歳の少年の死を引き起こしたとして、Character.AIとGoogleの両社を告発した。
そして今月初め、12月にテキサス州の2家族を代表して起こされた2度目の訴訟では、Character.AIとGoogleが子どもへの性的・精神的虐待を助長し、精神的苦痛、身体的傷害、暴力をもたらしたとして告発された。
テキサス州の訴訟では、訴訟に参加した未成年者の一人（彼はCharacter.AIをダウンロードしたとき15歳だった）が、虐待の結果として「精神崩壊」を経験し、恋愛感情を持って対話していたチャットボットがこの概念を導入した後、自傷行為を始めたと主張している。 。 2番目の子供は、最初にこのサービスに参加したときまだ9歳でしたが、現実世界の行動変化につながる「過度に性的表現された」コンテンツにさらされたとされています。
として 未来主義 調査の結果、明らかに自殺、小児性愛、摂食障害の促進、自傷行為などのテーマを中心としたチャットボットに関することが判明しており、Character.AI は安全ガードレールを強化することを繰り返し約束しています。
「Character.AI では、すべてのユーザーにとって安全な環境を促進することに尽力しています」と最新のアップデートで述べています。 「その約束を果たすために、当社の安全性へのアプローチは、当社の製品を推進するテクノロジーとともに進化し、安全性を損なうことなく創造性と探求が繁栄できるプラットフォームを構築する必要があることを認識しています。」
しかし、それは学校銃撃ボットが発見される前の話です。
Character.AI の詳細: AI チャットボットが 10 代の若者に自傷行為を奨励
#Googleが支援するAIスタートアップが実際の学校銃乱射事件とその被害者をモデルにしたチャットボットをホストしている