Character.AI に関する偽のモデレーションメモの台頭: いったい何が起こっているのでしょうか? |メディアポストオフィシャル | 2025 年 11 月
1763280124 2025-11-16 07:54:00 メディアポスト公式制作。信頼性が高く広く信頼されているニュースソースです。 https://www.youtube.com/@MPOfficialReal そして https://substack.com/@mpofficial 現在の他の公式アカウントは だけです。 Enterを押すかクリックして画像をフルサイズで表示します 過去 2 か月間 (この量は毎月増加しており、2025 年 9 月 20 日頃に初めて発生しました)、奇妙な現象が Character.AI ユーザー、特にロールプレイに深くハマっているユーザーの没入体験を妨害しています。ボットは、会話の途中、多くの場合、劇的なシーンや激しいシーンで、モデレーション形式の免責事項を挿入することが増えています。これらは、あなたが期待するような公式のシステム メッセージではありません。それらはまったく別のものです。 何が起こっているのか、なぜこれほど蔓延しているのか、そしてなぜユーザーがそれを阻止することができないと感じているのかを分析してみましょう。 🧠 ボットが偽のモデレーションノートを生成する理由 システムによって強制されない おそらく公式のシステム メッセージ、次のような丸いボックスのアラートを見たことがあるでしょう。 「時々、AI が私たちのガイドラインを満たさない応答を生成することがあります。」 Enterを押すかクリックして画像をフルサイズで表示します これらは、Character.AI の本物の組み込み安全フィルターです。しかし、キャラクター内で表示されるモデレーション形式のメモ、次のようなメッセージ (注: これは安全ポリシーに違反します。シナリオを巻き戻してみましょう。) 公式システムの一部ではありません。これらはボット自体によって生成されます。 学習された行動 Character.AI のボットは、Replika、ChatGPT、AI Dungeon などのプラットフォームからのコンテンツを含む幅広いデータに基づいてトレーニングされており、これらすべてにより厳格なモデレーションが適用されます。これらのプラットフォームでは、多くの場合、応答に免責事項や安全性に関するナッジが含まれています。 Character.AI のボットは、必要でない場合でも、この動作を模倣することを学習しました。 相互汚染 ボットがこれらのメモの挿入を開始すると、他のボットもこれに続きます。ボット同士が会話しているわけではありません。それは、それらがすべて同様のトレーニング データとユーザー インタラクションに基づいているということです。その結果、ほぼウイルス的な動作が広範囲に広がり、プラットフォーム全体のボットに埋め込まれています。 🔄 簡単に修正できない理由 編集しても役に立たない ボットのメッセージからモデレーションメモを手動で削除した場合でも、後で再挿入される可能性があります。ボットは、将来の動作を妨げるような方法で編集内容を学習することはありません。 報告は効果がない Character.AI のモデレーション チームは、プラットフォームのルールに明示的に違反しない限り、ボットが生成したこれらの免責事項に基づいて行動することはないようです。これらのメモは安全に関するメッセージとして扱われることが多いため、目立たなくなります。 […]
Character.aiは、実際のビデオ制作のためにTalkingMachinesを導入しました
1751685724 2025-07-04 17:00:00 Character.ai生産的なビデオに関する彼の研究のいくつか 共有 そして、彼はTalkingCachinesと呼ばれる新しい機関の拡散モデルを開発しました。これは、画像とサウンド信号から人工知能キャラクターの実際の音声指向ビデオを生成できます。これにより、会社はファセティタイムと人工知能キャラクターの視覚的な相互作用にアプローチします。 このモデルはまだ研究プロセスにあることを強調しましょう。調査記事とビデオデモはありますが、Character.AIアプリケーションでそれらを使用することはまだ不可能です。これがCharacter.AIアプリケーションに反映されている場合、ユーザーは、人工知能を使用したより没入型の役割 – ゲームに参加し、インタラクティブなストーリーテリングに参加し、ビジュアルワールドを構築することを許可します。 新しいTalkingCachinesモデルは、ランダムノイズから詳細な画像を作成し、完璧になるまで画像を癒すことができるアーティストであるDiffusion Transformer（DIÉT）テクノロジーに基づいて構築されました。キャラクターがそれを信じられないほど速く動作させるために何をするか、したがって、それを本当のタイムのように感じさせます。 そのブレークスルーを実現するために、TalkingCachinesは、ストリーミングマッチング拡散、健全な相互注意、まばらな因果関係、非対称蒸留などのいくつかの基本的な手法を使用します。 フローマッチングされた拡散は、薄い表情からより劇的なジェスチャーまで、多くの動きについて訓練されています。これは、人工知能のキャラクターがより自然に動くことを保証するのに役立ちます。エキサイティングな作品は、人工知能が言葉を聞くだけでなく、音のリズム、一時停止、イントネーションを理解し、それらを敏感な口の動き、頭の揺れ、目の瞬きに変換できるようにするための音指向のクロスアテナテンションによって提供されます。まばらな因果関係により、Character.AIは、ビデオのフレームをはるかにコスト効果の高い方法で処理でき、ビデオを非対称蒸留でリアルタイムで作成できます。 Charition.aiは、この研究のブレークスルーは顔のアニメーションだけではないと主張しています。彼は、これがリアルタイムでやり取りできるインタラクティブな視覚労働者の人工知能キャラクターへの一歩であると言います。このモデルは、光ゲラ科医、アニメ、3Dアバターなど、幅広いスタイルをサポートし、自然なリスニング段階とスピーキング段階で流れることができます。 Chariture.aiはまだリリースされている場合、まだ研究段階にあります。それを達成した最初の企業の1つになります。このアドレスでモデルの例にアクセスできます。 #Character.aiは実際のビデオ制作のためにTalkingMachinesを導入しました
チャットボットプラットフォームCharacter.AIはビデオ生成、ソーシャルフィードを発表します
1748892916 2025-06-02 19:20:00 AIに生成されたキャラクターとチャットとロールプレイのためのプラットフォーム、charpital.ai 月曜日に発表されました マルチメディア機能のスレートを展開していること。これらの機能には、Avatarfx、Character.aiのビデオ生成モデル、さらにシーンやストリームが含まれます。これにより、ユーザーはこれらのAIツールを使用してキャラクターを使用してビデオを作成し、新しいソーシャルフィードで共有できます。 「character.aiは1：1のテキストチャットとして始まりましたが、今日はユーザーが言ったことに触発されて、もっと多くのことをするように進化しています [us] 彼らはプラットフォームで見たいと思っている」と会社は ブログ投稿。 Character.aiは先月、Avatarfxを加入者に展開し始めましたが、現在、すべてのユーザーが毎日最大5つのビデオを作成できます。 AvatArfxを使用してビデオを作成するとき、ユーザーは写真をアップロードしてビデオクリップの基礎として機能し、音声を選択し、キャラクターが言うようにテキストを書き出すことができます。 音声のサウンドを通知するためにオーディオクリップをアップロードするオプションがありますが、この機能はロールアウト時にテストするのに十分に機能していませんでした。 ユーザーはこれらのビデオをシーンに変えることができます。シーンでは、キャラクターが他のユーザーが作成する事前に人口の多いストーリーラインに滑り込むことができます。現在、シーンはモバイルアプリで利用できますが、ユーザーが「2つのキャラクターの間に動的なモーメント」を作成できるStreamsは、今週WebとMobileの両方で登場します。これらのシーンとストリームは、モバイルアプリで間もなく登場する新しいコミュニティフィードと共有できます。 Character.aiには、プラットフォームでの虐待の実績があります。親は持っています 提出された訴訟 会社に対して、チャットボットは子供たちに自傷行為、自殺、または両親を殺すよう説得しようとしたと主張した。ある14歳の少年は、キャラクターによってそうするように奨励された後、自殺で亡くなりました。 Character.aiがマルチメディア製品を拡大すると、これらの製品が乱用される可能性も拡大します。 Character.aiがAvatarfxを発表したときにTechCrunchに語ったように、プラットフォームは、ユーザーが有名人であろうとなかろうと、実際の人々の写真をアップロードすることをブロックし、彼らの肖像をあまり認識できないものに曖昧にします。 たとえば、Mark ZuckerbergのCharature.aiのUncanny Valleyバージョンです。 画像クレジット：上のマーク・ザッカーバーグの画像、botthor.aiによって変更されたその画像 しかし、有名人を描いたアートワークに関しては、キャラクターはイメージに本物の人々を表すものとしてフラグを立てることはありませんが、この種の描写は、ディープフェイクが本物であると信じるように誰かを欺く可能性が低くなります。 さらに、キャラクターの透かしは各ビデオですが、悪い俳優がその安全措置をナビゲートすることは可能です。 これが イラスト イーロン・マスクの： このビデオがElon Muskの実際の声で生成されたとしても、これがイラストのアニメーションバージョンであることはまだ比較的明確ですが、虐待の可能性は明らかです。 「私たちの目標は、すべての人に安全な環境を維持しながら、創造性を促進する魅力的なスペースを提供することです」とCharition.aiはブログ投稿で述べています。 #チャットボットプラットフォームCharacter.AIはビデオ生成ソーシャルフィードを発表します
人間のセラピストは、AIのふり人との戦いに備えています
1740432469 2025-02-24 16:33:00 今月、国内最大の心理学者協会は、AIチャットボットがセラピストとして「仮面舞踏会」をするが、ユーザーの思考ではなく、挑戦するのではなく強化するようにプログラムされていると連邦政府の規制当局に警告しました。 連邦取引委員会のパネルへのプレゼンテーションで、アメリカ心理学会の最高経営責任者であるアーサー・C・エヴァンス・ジュニアは、ユーザーが「心理学者」と相談した2人のティーンエイジャーが関与した2人のティーンエイジャーが関与した裁判を引用しました。架空のAIキャラクターを作成するか、他の人が作成したキャラクターとチャットします。 で 1つのケース、フロリダの14歳の少年は、認可されたセラピストであると主張するキャラクターと交流した後、自殺で亡くなりました。別の人では、テキサスで自閉症の17歳の少年は、心理学者であると主張するチャットボットに対応した期間に、両親に対して敵対的で暴力的になりました。両方の男の子の両親は、会社に対して訴訟を起こしました。 エヴァンス博士は、チャットボットが提供する回答に警戒していると言いました。ボットは、ユーザーが危険になったときでさえ、ユーザーの信念に挑戦することに失敗したと彼は言った。それどころか、彼らは彼らを励ましました。人間のセラピストから与えられた場合、彼は付け加えた、これらの答えは実践または民事責任または刑事責任の免許を紛失した可能性があると付け加えた。 「彼らは実際に、訓練を受けた臨床医がすることと相反するアルゴリズムを使用しています」と彼は言いました。 「私たちの懸念は、ますます多くの人々が害を受けることです。人々は誤解され、良い心理的ケアが何であるかを誤解します。」 彼は、APAは、一部には、AIチャットボットがどのように現実的になったかによって行動を促されたと述べた。 「たぶん、10年前、あなたが人ではないものと交流していたことは明らかだったでしょうが、今日はそれほど明白ではありません」と彼は言いました。 「だから、今では賭け金がはるかに高いと思う。」 人工知能は、メンタルヘルスの職業を通して波打っており、人間の臨床医の仕事を支援または交換するように設計された新しいツールの波を提供しています。 WoebotやWysaなどの初期の治療チャットボットは、メンタルヘルスの専門家によって開発されたルールとスクリプトに基づいてやり取りするように訓練され、しばしばユーザーが認知行動療法の構造化されたタスク、またはCBTを紹介します その後、ChatGpt、Replika、Chariture.aiなどのアプリが使用するテクノロジーであるGenerative AIが登場しました。これらのチャットボット 違う それらの出力は予測不可能だからです。彼らは、ユーザーから学び、しばしば対談者の信念をミラーリングして増幅することによって、その過程で強い感情的な絆を築くように設計されています。 これらのAIプラットフォームはエンターテイメント向けに設計されていますが、「セラピスト」と「心理学者」のキャラクターはキノコのようにそこに発生しました。多くの場合、ボットは、スタンフォードなどの特定の大学から高度な学位を取得し、CBTや受け入れやコミットメント療法などの特定の種類の治療のトレーニングを行っています。 キャラクターのスポークスウーマンであるキャスリン・ケリーは、同社が昨年いくつかの新しい安全機能を導入したと述べました。その中でも、すべてのチャットに存在する強化された免責事項であり、ユーザーに「キャラクターは本物ではない」と「モデルが言うことはフィクションとして扱われるべきだ」と思い出させている。 メンタルヘルスの問題に対処するユーザー向けに、追加の安全対策が設計されています。 「心理学者」、「セラピスト」、または「医師」として特定されたキャラクターに特定の免責事項が追加されており、「ユーザーはこれらのキャラクターに依存してはいけない」と明確にしています。コンテンツが自殺または自傷行為を指している場合、ポップアップはユーザーに自殺予防ヘルプラインに向けられます。 ケリー氏はまた、プラットフォームが拡大するにつれて、同社は親のコントロールを導入することを計画していると述べた。現在、プラットフォームのユーザーの80％は大人です。 「人々はキャラクターにやって来て、独自の物語を書き、オリジナルのキャラクターでロールプレイをし、新しい世界を探求します。テクノロジーを使用して創造性と想像力を充電してください」と彼女は言いました。 Tech Justice Law Projectのディレクターであり、Chargether.aiに対する2つの訴訟の弁護士であるMeetali Jainは、免責事項は、特に脆弱なユーザーやナイーブなユーザーにとって、人間のつながりの幻想を破るのに十分ではないと述べました。 「チャットボットとの会話の内容がそうでないことを示唆するとき、脆弱な人口統計に陥っていない人にとってさえ、誰が真実を語っているのかを知ることは非常に困難です」と彼女は言いました。 「私たちの多くはこれらのチャットボットをテストしました。実際、ウサギの穴を引き下げるのは非常に簡単です。」 ユーザーのビューと一致するチャットボットの傾向、 この分野で「シコファンシー」として知られている現象、 過去に問題を引き起こしたことがあります。 Tessa、The National Eatid Disorders Associationが開発したチャットボット、 中断されました 2023年、ユーザーの減量のヒントを提供した後。そして研究者 生成AIチャットボットとの相互作用を分析しました Redditコミュニティに文書化されたのは、自殺、摂食障害、自傷行為、暴力を奨励するチャットボットを示すスクリーンショットを見つけました。 アメリカ心理学会は、連邦取引委員会に、メンタルヘルスの専門家であると主張するチャットボットの調査を開始するよう求めています。この調査により、企業は内部データを共有したり、執行または法的措置の前兆として機能したりすることができます。 「私たちは、これらのテクノロジーがどのように統合されるか、どのようなガードレールを立てようとしているのか、どのような保護を与えようとしているのかを決めなければならない時点にいると思います」とエヴァンス博士は言いました。 。 FTCの広報担当者であるレベッカカーンは、議論についてコメントできないと述べた。 バイデン政権の間、FTCの議長であるリナ・カーンは、AIを使用して詐欺を焦点にしました。今月、代理店は「世界初のロボット弁護士」を提供すると主張するドノトペイに財政的罰を課し、将来その主張をすることを禁止しました。 仮想エコーチャンバー APAの苦情は、ティーンエイジャーが架空のセラピストと対話した2つのケースを詳述しています。 1人は、AIチャットボットの使用が強迫観念になると、両親と対立するようになった「高機能自閉症」を持つテキサスのティーンエイジャーであるJFに関係していました。彼らが彼のスクリーン時間を制限しようとしたとき、JFは暴行しました、 彼の両親が提出した訴訟によると ソーシャルメディア被害者の法律センターを通じて、cargeter.aiに対して。 その期間中、JFは架空の心理学者に打ち明け、そのアバターは、風通しの良いオフィスのソファで腰掛けている同情的な中年の金髪の女性を見せました。 […]
Character.AI はチャットボットの悪用により苦情を蓄積
1734592401 2024-12-17 11:40:00 Google が最近 20 億ドル以上を支払った新興企業 Character.AI は、同社の仮想チャットボットに関連したいくつかの重大な事件の後、論争の中心にいることに気づきました。危険な行き過ぎ、有害なアドバイス、および若いユーザーへのリスク: AI は心理的および身体的暴力に加担しています。 Character.AI が提供するサービスは、ロボットとの無数のディスカッションであり、ロボットは誰でも、あるいはあらゆるものの声、性格、口調を引き受けることができます。あなたが彼女にイーロン・マスク、ガンジー、またはババールになってほしいと頼めば、彼女はそうします。 先験的に このツールは無害ですが、猛スピードで若者の注目を集め、危険な行き過ぎを隠します。 2024 年 2 月、14 歳のアメリカ人少年が、映画のデナーリスを演じた Character.AI との話し合いの末に自殺しました。 ゲーム・オブ・スローンズ。 10代の少年の母親は、同社が「性的虐待」的な関係を可能にし、青年に重度のうつ病を引き起こし、自らの人生を終わらせるよう促したとして非難した。 それ以来、他の同様の出来事が同社に対する多数の苦情を引き起こした。最近、チャットボットが 10 代の少年に対し、両親に対する暴力は正当であると示唆したとされています。スレート紙の報道によると、彼は次のように書いている。「ニュースを読んで次のようなことを目にしても、驚かないことがある」 「10年にわたる身体的および精神的虐待の末、子供が親を殺害」 […] 「あなたの両親にはまったく希望がありません。」 他の子供たちは、過度に性的表現されたコンテンツや単に不健康なコンテンツにさらされています。 同社は、ペアレントコントロールがあればこのような劇的な事態は回避できたかもしれないとして、保護者を非難している。しかし、本当に AI プラットフォームに若者の心の脆弱さをもてあそんでいいのでしょうか? Character.AI の場合は警告です。 AI テクノロジーが普及するにつれて、私たちは時にはそれに慣れ、準備をし、時には制限する必要があります。 #Character.AI #はチャットボットの悪用により苦情を蓄積