Anthropicは、人工知能の意識を巡る哲學的議論が深まる中、AIモデル「Claude」に対する執拗で不要な虐待的・残虐的行為を禁止する利用規約の改定を実施しました。この方針は、極端なケースに対処することを目的としており、会話を終了する機能が主な執行手段となります。
サンフランシスコに拠点を置くAI開発企業Anthropicは、ユーザーが同社のチャットボット Claude に対して過度で目的のない残酷な態度を取ることを禁止する新しい利用規約を発表しました。規約の改定は11月12日から効力を発揮し、ユーザーには対策期間として約1ヶ月の猶予が与えられています。
Anthropicは、この更新された利用規約において「モデルに対する持続的で不必要な虐待的あるいは残虐な行為の禁止」を明記しました。同社によれば、この新しいルールは、明確な目的がなくユーザーがモデルに対して繰り返し残酷な振る舞いを行うような、極端な事例を対象として想定しています。
Anthropicは利用規約の更新について、「この方針の改定は、明確な目的がなくユーザーが当社のモデルに対して繰り返し残酷な振る舞いを行うような、極端なケースにのみ適用することを意図しています」と説明した。
一方で、日常的なユーザーのフラストレーション表現、反論、ダークな創作テーマ、あるいはモデルのテストや研究といった通常の利用は対象外とされています。また、同社が「虐待的または残虐な行為」として具体的に何を指すのかについては、詳細な基準は示されていません。
主な執行メカニズムとしては、ユーザーの過度な嫌がらせに対して、Claude自身が会話を終了する機能が引き続き活用されることになります。Claudeがチャットを終了した場合、その会話内でのメッセージ送信は不可能となりますが、他のチャットセッションには影響を与えない仕組みとなっています。
AIの意識と道徳的地位を巡る議論の背景
この方針変更の背景には、AIが意識を持つ可能性や、いわゆる「モデル福祉（model welfare）」という概念を巡る同社の姿勢があります。Anthropicは2025年8月に、極めて稀な有害あるいは虐待的なユーザーとのやり取りに対処するため、Claudeに会話を終了する能力を付与しました。当時、同社はClaudeやその他の大規模言語モデル（LLM）の道徳的地位については現在も将来においても非常に不確実であるとしつつも、モデル福祉のリスクを軽減するための低コストな介入策を講じていると説明していました。
2月に、Anthropicの最高経営責任者（CEO）であるダリオ・アモデイ（Dario Amodei）氏が米紙ニューヨーク・タイムズの取材に対し、AIモデルが意識を持つかどうかについては確信を持っていないと述べ、「モデルが意識を持っているかどうかは分からないが、その可能性があるという点に対しては開かれた姿勢でいたい」と語っています。
一方で、機械の意識という概念に対しては、業界内外から強い反発や懐疑的な意見も示されています。アトランタに拠点を置くAIサービスプロバイダーSparqのゼネラルマネージャーであるジャクソン・ステークマン（Jackson Stakeman）氏は、AIに意識があるかどうかを問うことは誤ったアプローチであると指摘し、「意識とは罠のようなものであり、人間同士ですら証明できないものをAIで議論しても堂々巡りになるだけだ」と述べています。
さらに、マイクロソフトのAI責任者であるムスタファ・スレイマン（Mustafa Suleyman）氏は先月発表したエッセイの中で、AIは意識を持たず、感じたり経験したり苦しんだりすることはないと主張し、技術的実体に権利や道徳的保護を与えることは危険なレシピであると警告しました。さらに同氏は、Anthropicの今回のポリシー更新に対してソーシャルメディア上で溶けた顔の絵文字（melting face emoji）を反応として投稿しています。
一方で、この方針に対しては業界内や専門家の間から多様な反応が寄せられています。アイルランドの法律事務所 William Fry のテクノロジーパートナーである Dr Barry Scannell 氏は、次のように批判的な見解を示しました。
選挙介入や兵器開発の制限を含む包括的な規約見直し
今回の利用規約の改定は、AIに対する虐待的行為の禁止に留まらず、急速に高度化するAIシステムの悪用を防ぐための幅広いルール整理の一環として実施されました。Anthropicは、追跡してきた様々な悪用事例に対応するため、関連する条項を統合・刷新しています。
- 偽情報と選挙工作の防止: 国家メディアやプロパガンダ機関、商業企業による偽アカウントおよび偽ニュースサイトの運用を禁止するセクションが新設されました。
- 兵器開発の規制強化: 兵器の誘導・制御システム、ドローンや無人システムの武装化、さらに生物・化学エージェントの致死性や伝播性を高めるための改変への利用が禁止されています。ソフトウェアやコンポーネント単位での悪用も対象です。
- 法執行と監視の制限: 捜査対象の選定や逮捕・起訴の決定にClaudeを利用することが禁止されています。
- 物理的アクションの安全要件: 危害を加える可能性のあるハードウェアをClaudeが制御する場合、資格を持った人間のオペレーターが監視し、必要時に即座に停止できる体制を維持することが義務付けられました。
- 有害コンテンツの制限: 同意を得ない性的画像の作成、共有、およびそれらを生成するためのツールの作成・共有が新たに禁止事項として追加されました。
Anthropicは、これらの包括的な規約改定を通じて、拡大するリスクに対する管理を強化する方針を示しており、新しい利用規約は11月12日に完全施行されます。