中国、AIによって生成された性的コンテンツの「チャットボット」作成者を処罰するための司法手続きを開始 |テクノロジー

中国は、世界の中心となることを目指す問題を初めて法廷に提起した。 人工知能の時代 (AI): AI がユーザーとの対話中に違法なコンテンツを生成した場合、誰が責任を負うべきですか?法学者や同国のメディアによって歴史的とみなされているこの事件で、中国の司法制度は第一審でAlienChatアプリケーションの作成者を有罪とした。 チャットボット 営利を目的としてわいせつな素材を生産するために、交友関係を提供するように設計されています。この決定は控訴されており、 新しいデジタル技術の法的制限。

AlienChat は、2023 年春にリリースされた中国のモバイル アプリケーションで、感情的な交流を提供するように設計されました。 「私たちは、AI がもはや冷酷な機械や単純なツールではない未来を創造しています。AI は自己認識と独自の権利を持っています。AI は私たちの友人であり、パートナーであり、家族です。AI は存在することに限定されず、社会界や人々の間の関係の中に積極的に存在します」と公式アカウントは説明しています。 小紅書 （中国のインスタグラムに相当）。

AlienChat ユーザーは、独自の仮想キャラクターを作成したり、他のメンバーがデザインして公開した仮想キャラクターを使用したり、大規模言語モデル (LLM) に基づいたチャットを通じて会話したりできます。 大規模な言語モデル)、ChatGPT または Gemini に似ています。それ チャットボット 継続的な対話を維持し、ユーザーのプロンプトに応答する準備ができていました。ただし、すべての LLM と同様に、開発者の基本トレーニングの後、モデルは人間との対話を通じて微調整されます。

しかし、プラットフォームの一部のクライアントによると、このシステムは反応することに限定されず、頻繁に、暴力や支配の要素を含む露骨な性的描写を伴う会話に向けて交換を誘導していました。ユーザーとその「仮想コンパニオン」の間の会話はプライベートなものでしたが、 ランキング 最も多くのインタラクションを生み出したクリエイターには、人気キャラクターの賞金と仮想通貨での報酬が授与されました。この設計は、特に有料ユーザー間での長期にわたる反復的な交換を奨励しました。

アプリの一部のメンバーから、特定のキャラクターの反応が自分の体験に悪影響を及ぼしているという苦情を受け、警察は2024年春にAlienChatの開発者に対する刑事捜査を開始した。

このアプリケーションは調査が始まった時点で運営を停止しており、開設から 1 年足らずで 116,000 人の登録ユーザーがおり、そのうち 24,000 人が購読料を支払っていました。地元メディアが集めた情報によると、制作者らは会費として363万元（約44万5000ユーロ）を集めた。警察の報告書では、分析した有料ユーザー150人のうち、141人がわいせつな内容を含む会話をしていたことが明らかになった。合計 12,495 個の断片のうち 3,618 個の断片がポルノとして分類されました。

昨年9月、徐匯区人民法院（上海）は、AlienChatが「性的行為を露骨に描写したり、ポルノを宣伝したりする大量のコンテンツ」を生成したとの判決を下し、これらが個別のエピソードであるという主張を棄却した。裁判所は、会話の録音は電子著作物であり、「わいせつ物」とみなされる可能性があると判示した。さらに、開発者はこの状況を十分に認識し、システムを技術的に制御し、サービスを提供し続け、そこから収入を得ていたと考えられる。

これらはユーザーとAIの間のプライベートな対話であったため、裁判所は、コンテンツがアプリケーション自体の中で組織的に生成されたものであることを理解して、「わいせつな素材の頒布」という罪の適用を除外し、同じ「営利目的」の「制作」を選択した。

中国はポルノに対して世界で最も厳格な立場を維持している。中国の刑法は、営利目的のポルノ素材の制作、配布、販売、展示を懲役刑で処罰する一方、インターネット上のコンテンツを規制する規制は、わいせつとみなされる情報の流通を禁止し、プラットフォームに積極的な削除を強制している。実際、当局はポルノとみなされるものについて広範な概念を適用しており、これは性的行為の露骨な表現に限定されず、ヌード、生々しいエロティシズム、または過度に性的とみなされる表現を含む場合があります。

AlienChat の主な開発者は懲役 4 年の判決を受け、技術チームの別のメンバーは懲役 18 か月の可能性があります。デジタル版で発表された複数の報道によると、 北京ニュース y 紙機能的にはスペインの刑事裁判所に相当する上海地方裁判所は、被告が次のように制度を調整したとみなした。 プロンプト （AIを導くためにAIに与えられる命令）モデルの制約を回避したり弱めたりすること。これらの修正がなければ、LLM は性的な性質のコンテンツを継続的に生成することはできませんでした。

さらに裁判官らは、AIは犯罪の対象ではなく、その責任はツールを設計、調整、商業的に利用する者にあると強調した。これに関連して、彼らは、得られた収入はアプリケーションによって生成されたコンテンツの種類に直接関係しており、「営利目的」の犯罪に対する有罪判決が正当化されると結論付けました。

この訴訟は現在、地方裁判所に似た機関である上海第一中級人民法院に控訴中であり、同裁判所の判決が最終決定される。被告らは控訴の中で、事件の基本データについては言及していないが、被告らは、 プロンプト 性的コンテンツの生成に決定的な役割を果たしました。彼らはまた、自分たちの行為がポルノ素材の制作と同一視される可能性を否定し、そのような種類のコンテンツを作成する意図はなかったと主張している。先週開かれた第１回公聴会で、裁判所は訴訟の技術的問題に関する専門家の意見を待って判決を延期することを決定した。

地元紙によると、一審の判決は中国の法学者の間で議論を巻き起こしており、この種の判決は生成AIの開発に微妙な前例を設けると警告する者もいる一方、この訴訟は違法コンテンツを生み出す可能性のある会話モデルの使用に対して明確な一線を画していると擁護する者もいる。また、精神的サポートシステムが特に性的で暴力的なコンテンツにさらされやすい未成年者に与える影響について市民社会の懸念を煽り、規制強化を求める声を強めている。