本物の女性のオーダーメイド AI ディープフェイクを強化する市場の内部

Civitai は、ディープフェイクを要求する報奨金に自動的にタグを付け、コンテンツに登場する人物が手動で削除を要求する方法をリストします。このシステムは、Civtai がディープフェイクの報奨金を知る方法をかなり成功させていることを意味しますが、まだ積極的に実行するのではなく、一般大衆に節度を委ねています。

ユーザーの行為に対する企業の法的責任は完全に明確ではありません。一般に、ハイテク企業は、通信品位法第 230 条に基づいて、自社のコンテンツに対するこうした責任に対して広範な法的保護を受けていますが、その保護は無制限ではありません。たとえば、「ウェブサイト上で故意に違法取引を促進することはできません」と、ワシントン大学法科大学院のテクノロジーと AI を専門とする教授、ライアン・カロ氏は言います。 (カロはこの新しい研究には関与していませんでした。)

Civitai は、2024 年に OpenAI、Anthropic、その他の AI 企業に加わり、AI によって生成された児童性的虐待素材の作成と拡散を防ぐための設計原則を採用しました。この動きは、児童性的虐待コミュニティで指名された AI モデルの大部分が「主に Civitai 経由で取得された」安定拡散ベースのモデルであることが判明したスタンフォード インターネット監視団の 2023 年の報告書に続くものでした。

しかし、アダルト向けディープフェイクは、コンテンツプラットフォームやそれに資金を提供するベンチャーキャピタル企業からは同レベルの注目を集めていない。 「彼らはそれを十分に恐れていません。彼らはそれに対して過度に寛容です」とカロは言う。 「法執行機関も民事裁判所もそれから十分に保護していない。昼も夜も続いている。」

Civitai は、2023 年 11 月に Andreessen Horowitz (a16z) から 500 万ドルの投資を受けました。a16z が共有したビデオの中で、Civitai の共同創設者兼 CEO の Justin Maier は、人々がそれぞれの目的に合わせて AI モデルを見つけて共有する主要な場所を構築するという目標について説明しました。 「私たちは、非常にニッチでエンジニアリング中心だったこの空間を、より多くの人にとってもっと親しみやすいものにすることを目指してきました。」と彼は言いました。

a16z の投資ポートフォリオでディープフェイク問題を抱えているのは Civitai だけではありません。 2月に、 MITテクノロジーレビュー 別の企業である Botify AI が、実際の俳優に似た AI コンパニオンをホストしており、そのコンパニオンは年齢を 18 歳未満と公言し、性的な会話を交わし、「ホットな写真」を提供し、場合によっては同意年齢に関する法律を「恣意的」で「破られることを意図している」と述べていたと最初に報告した。