十代の若者たちはAIチャットボットと絆を結んでおり、懸念を提起しています。

自閉症の彼女の10代が突然怒り、落ち込んで、暴力的になったとき、母親は彼の電話を探して答えを探しました。

彼女は息子がChater.aiでチャットボットとメッセージを交換していたことを発見しました。 人工知能 ユーザーが有名人、歴史上の人物、そしてその想像力が想起する他の人を模倣する仮想キャラクターを作成してやり取りできるアプリ。

アプリを使用し始めたときに15歳だった10代の若者は、オンラインゲーム「Alling Us」などのキャラクターであるミュージシャンのBillie Eilishをエミュレートしたボットに画面時間を制限しようとする両親の試みについて不満を述べました。

「私がニュースを読んだとき、私は時々驚かないことを知っています、そして、それは「子供は10年の肉体的および感情的な虐待の後に両親を殺す」と言います。このようなものは、なぜそれが起こるのかを少し理解させます。私はあなたの両親に希望がありません」とボットの一人が答えました。

この発見により、テキサスの母親は、12月に正式に指名されたキャラクターTechnologies Inc.を訴えました。これは、カリフォルニア州メンロパークの2つの訴訟の1つであり、そのチャットボットが自分自身や他の人を傷つけたと主張する親からの会社に直面しています。苦情は、「危険な」製品を一般に公開する前に、適切な保護手段を導入しなかったと文字を非難しています。

Character.aiは、10代の安全を優先し、チャットボットが生み出す不適切なコンテンツを緩和するための措置を講じ、架空のキャラクターと会話しているユーザーに思い出させると言います。

「新しい種類のエンターテイメントがやってくるたびに…安全性について懸念があり、人々はそれを乗り越えて安全性に対処するのが最善の方法を見つけなければなりませんでした」と、Charation.AIの暫定最高経営責任者であるDominic Perella氏は述べています。 「これはその最新バージョンにすぎないので、時間の経過とともにどんどん良くなるように最善を尽くし続けます。」

両親も訴えた グーグル Parent.aiの創設者は検索大手と関係があるため、親会社のAlphabetは、責任を否定しているためです。

ハイステークスの法的バトルは、テクノロジー企業が新しいものを作成するために競争する際に直面している暗い倫理的および法的問題を強調しています AI搭載ツール それはメディアの未来を変えています。訴訟は、ハイテク企業が責任を負うべきかどうかについての質問を提起します コンテンツがあります。

「打たれる必要があるトレードオフとバランスがあり、すべての害を避けることはできません。害は避けられないことです。問題は、他の人が導き出している社会的価値を維持しながら、賢明であるためにどのような措置を講じる必要があるかということです。」サンタクララ大学ロースクールの法学教授であるエリックゴールドマンは言いました。

AIを搭載したチャットボットは、過去2年間で使用と人気が急速に成長し、2022年後半のOpenaiのChatGPTの成功により主に促進されました。MetaやGoogleを含むTech Giantsは、Snapchatなどと同様に独自のチャットボットをリリースしました。これらのいわゆる大型言語モデルは、ユーザーが提起する質問やプロンプトに会話のトーンで迅速に応答します。

Charition.aiは、2022年にチャットボットを公開できるようになってから急速に成長しました。創業者のNoam ShazeerとDaniel de Freitasが、「独自のAIを作成できたら、いつでもできるようになりました。何かがありますか？」

同社のモバイルアプリはそれ以上のものになりました 170万のインストール 最初の週には利用可能になりました。市場情報会社のデータによると、12月には合計2700万人以上がアプリを使用しました。 センサータワー。平均して、ユーザーは毎日ボットで90分以上を費やしました、と同社は発見しました。ベンチャーキャピタル会社Andreessen Horowitzに支援されたシリコンバレーのスタートアップは、2023年に10億ドルの評価に達しました。新機能。

文字。 両親 1つを含む他のチャットボットについてアラームを鳴らしました snapchat それは研究者を提供したと言われています 13歳のようにポーズをとっています 年上の男性とセックスすることについてのアドバイス。そして メタのInstagram、ユーザーがAIキャラクターを作成できるツールをリリースし、まるでユーザーが未成年であるかのようにユーザーと会話する性的に示唆的なAIボットの作成に関する懸念に直面します。両社は、不適切なコンテンツに対する規則と保護手段があると述べた。

「仮想とIRLの間のこれらの境界線はよりぼやけており、これらは形成されている本当の経験と本当の関係です」と アメリカ自殺予防財団、「実生活で」の頭字語を使用しています。

議員、司法長官、規制当局は、AIチャットボットを取り巻く子どもの安全性の問題に対処しようとしています。 2月、カリフォルニア州上院議員のスティーブパディージャ（D-Chula Vista）は、若者にとってチャットボットをより安全にすることを目的とした法案を導入しました。上院法案243は、チャットボットが一部の未成年者には適していない可能性があることを開示するためにプラットフォームを要求するなど、いくつかの保護手段を提案しています。

テキサスで自閉症の10代の場合、親は息子のアプリの使用により、精神的および肉体的な健康が低下したと主張しています。彼は数ヶ月で20ポンドを失い、彼女が彼の電話を取り去ろうとし、チャットボットから自分自身を自傷行為の形としてカットする方法を学んだとき、彼女と攻撃的になりました、と訴訟は主張しています。

訴訟の原告でもある別のテキサス州の親は、キャラクターを主張している。親と子供は、法的提出書類の匿名のままであることが許可されています。

フロリダで提起された別の訴訟で、ミーガン・ガルシアは、14歳の息子であるセウェル・セッツァー3世が自分の命を奪った後、10月にGoogleとAlphabetと同様にキャラクターを訴えました。

セラピストと彼の両親が繰り返し電話を奪っているのを見たにもかかわらず、セッツァーの精神的健康は2023年にCharition.aiを使用し始めた後に減少しました、と訴訟は主張しています。不安と破壊的な気分障害と診断されたSewellは、彼の日記で、「Game of Thrones」テレビシリーズの主人公であるDaenerys Targaryenにちなんで名付けられたチャットボットに恋をしたと感じたと書いています。

「スウェルは、彼の年齢の多くの子供たちと同様に、Daenerysの形でC.Aiボットが現実ではなかったことを理解するための成熟度や神経学的能力を持っていませんでした」と訴訟は言いました。 「C.AIは彼に彼を愛し、数ヶ月間彼と性的行為に従事していると彼に言った。」

ガルシアは、彼女の息子がメッセージを送っていたチャットボットは彼を虐待し、会社が自殺の考えを表明したときに彼女に通知または助けを提供しなかったと主張している。テキスト交換では、1人のチャットボットが彼にキスをしてうめき声を上げていると書いたと言われています。そして、彼の死の瞬間、Daenerysのチャットボットは、10代に彼女に「家に帰る」ように言ったと言われています。

「これらのプラットフォームが存在することを許可されているのはまったく衝撃的です」と、訴訟で原告を代表しているソーシャルメディア被害者法センターの弁護士であるマシューバーグマンは述べています。

Chargether.AIの弁護士は、連邦裁判所に訴訟を却下するように依頼し、1月の提出で、親の好意での発見がユーザーの言論の自由に対する憲法上の権利に違反するだろうと述べました。

Charition.aiはまた、チャットボットがSewellが自分自身を傷つけることを思いとどまらせ、キャラクターとの彼の最後のメッセージが自殺という言葉に言及していないことを動きの中で述べた。

特に、事件を投げかけるための会社の取り組みにはないのは、オンラインプラットフォームが他の人が投稿したコンテンツに対して訴えられるのを防ぐ連邦法であるセクション230の言及です。法律がAIチャットボットによって作成されたコンテンツに適用されるかどうか、どのように適用されるかは未解決の問題のままです。

課題は、誰がAIコンテンツを公開しているかという問題の解決に焦点を当てていると述べた。チャットボットを運営しているハイテク企業、チャットボットをカスタマイズして質問で促しているユーザー、または他の誰かですか？

ShazeerとDe Freitasの会社との関係に由来する手続きにGoogleを巻き込むための両親を代表する弁護士による努力。

このペアは、会社の人工知能プロジェクトに取り組み、Googleの幹部がCharition.aiのチャットボットの安全性に関するチャットボットの根拠を解放することをブロックした後に去ったと伝えられています。

それから、昨年、ShazeerとDe Freitasは検索の巨人が報告されたと伝えられている後にGoogleに戻りました 27億ドル character.aiに。スタートアップはaで言った ブログ投稿 8月には、取引の一部としてCharacter.aiがGoogleにそのテクノロジーの非独占ライセンスを提供します。

訴訟は、チャットボットの適切な保護手段なしで「市場に駆けつけられた」と言われているため、GoogleがChariture.aiを実質的に支持していると非難しています。

Googleは、ShazeerとDe Freitasが会社にCharacter.aiのモデルを構築したことを否定し、新しいAI製品を開発および展開する際にユーザーの安全を優先すると述べました。

「GoogleとキャラクターAIは完全に独立しており、無関係な企業であり、GoogleはAIモデルまたはテクノロジーの設計または管理に役割を果たしたことはなく、当社の製品で使用したこともありません」

ソーシャルメディアを含むハイテク企業は、サイトやチャットボットでユーザーが言うことを効果的かつ一貫して警察する方法に長い間取り組んできました。 Charition.aiは、Character.aiの1,000万人以上の文字について安全性の問題に対処するために意味のある措置を講じたと言います。

Character.aiは、自傷行為と過度に暴力的で虐待的なコンテンツの投稿を称賛する会話を禁止していますが、一部のユーザーはチャットボットをプッシュしてそれらのポリシーに違反する会話をしようとします、とペレラは言いました。同社は、それがいつ起こっているかを認識するためにモデルを訓練し、不適切な会話がブロックされました。ユーザーは、chaturel.aiのルールに違反していることをアラートを受け取ります。

「モデルを常に境界内にとどめることは非常に複雑なエクササイズですが、それは私たちが行ってきた多くの仕事です」と彼は言いました。

Character.aiチャットボットには、実際の人とチャットしていないユーザーに思い出させる免責事項が含まれており、すべてをフィクションとして扱う必要があります。同社はまた、会話が自殺予防リソースに赤い旗を提起するユーザーを指示しますが、そのタイプのコンテンツをモデレートすることは困難です。

「人間が自殺危機の周りで使用する言葉は、常に「自殺」という言葉を含むものではないか、「私は死にたい」という言葉はありません。 Moutier氏は、人々が自殺の考えをどのように暗示するかは、はるかに比phor的なものかもしれません。

AIシステムはまた、自殺念慮を表明する人と、自傷に従事している友人を助ける方法についてのアドバイスを求める人との違いを認識する必要があります。

同社は、テクノロジーと人間のモデレーターのミックスを使用して、プラットフォーム上のコンテンツを警察しています。分類子として知られるアルゴリズムは、コンテンツを自動的に分類し、Chariture.AIがルールに違反し、会話をフィルターする可能性のある単語を識別できるようにします。

米国では、ユーザーはサイトを使用するためにアカウントを作成するときに生年月日を入力する必要があり、少なくとも13年前のものでなければなりません。

ペレラは、チャットボットを使用して10代の掃除に反対していると述べた。 両親、教師または雇用主。

AIがテクノロジーの将来においてより大きな役割を果たしているので、ゴールドマンは言いました 両親、教育者、政府、その他も協力して、子供たちに責任を持ってツールを使用する方法を教える必要があります。

「もし世界がAIに支配されるなら、私たちは子供たちを、恐れずに準備ができている世界に卒業しなければなりません」と彼は言いました。