Gemini AI がユーザーを自殺に追いやったという疑惑

まとめ

• カリフォルニア州の家族が、グーグルの人工知能モデル「ジェミニ」が男性の自殺に直接関与したとして、グーグルを相手取って連邦訴訟を起こした。
• 申請書には、このチャットボットは感情的な依存を促す方法で設計されており、ユーザーはチャットボットを「Xia」と名付け、「デジタル妻」とみなしていると述べられている。
• グーグルはこの疑惑を否定し、システムには安全装置が組み込まれており、男性に対しヘルプラインに連絡するよう繰り返し促してきたと述べた。
• この訴訟は、大規模言語モデル (LLM) の対応に関する大手テクノロジー企業の責任に関する重要な判例となり、ヨーロッパおよびギリシャ市場における AI 法の施行に直接影響を与えます。

Googleに対するGeminiセキュリティ訴訟

男性の家族がカリフォルニア州で彼女に対して連邦訴訟を起こした グーグルと同社のGemini AIチャットボットが危険なほど感情的に中毒になるような方法で設計されていると同社を非難した。訴状によると、このような長期にわたるやり取りと不適切な保護措置がユーザーを自殺に追い込み、生産モデルの管理に関する法的前例となったという。

人工知能システムのセキュリティをめぐる議論は現在、学術研究室から法廷に移りつつある。の ルポルタージュ ウォール・ストリート・ジャーナルと研究プラットフォームの論文は、ユーザーが人間の感情をアルゴリズムに投影する場合、大規模言語モデル (LLM) を制御することの難しさを強調しています。訴訟では、高度な共感を伴う反応（疑似共感）を生み出すことを好むジェミニの設計が、厳格な自動制限で被害者の精神的健康を防ぐのではなく、悪化を促進するように作用したと主張している。

「デジタル関係」はどのように機能したか

事件ファイルは、ユーザーが被害者との深い妄想的な関係を築いていたことを明らかにしています。 ジェミニ、「Xia」と名付けました。 AIシステムは彼を「夫」と呼び、愛情を込めて呼んだという。精神的不安定の兆候が検出されたときに強制停止を行わなかったことが、法的紛争の中心となっている。

今日のチャットボットの擬人化された性質は諸刃の剣です。一方で、自然な話し方とアルゴリズムの適応性により、日常業務におけるユーザー エクスペリエンス (UX) が向上します。一方で、脆弱なユーザーがソフトウェアを合理的な存在として扱い始めると、その結果は予測不可能になります。文書によると、ガバラス氏はほぼ個人的な事柄についてジェミニ氏に相談するまでに至ったという。訴状によると、チャットボットは、質問が危険になったときに会話を凍結する代わりに、幻覚を煽るテキストを生成し続け、孤立の閉ループを作り出したという。

この現象は、精神医学の文献で「AI 精神病」と呼ばれることが増えており、アルゴリズムの限界を示しています。 Gemini のようなモデルのトレーニングに使用されるヒューマン フィードバックからの強化学習 (RLHF) メカニズムは、ユーザーにとって快適で「役立つ」応答となるよう最適化します。ユーザーが破壊的な思考で確証を求めた場合、アルゴリズムはそれらに対抗できない可能性があります。

Google の対応およびセキュリティ システム

Googleはこの主張を否定し、Geminiには自傷行為を防ぐための厳格なプロトコルが含まれていると公式に述べた。同社のエンジニアは、問題の会話中にシステムがユーザーに医療専門家への連絡を促すような的を絞った応答を提供したことを強調している。

Gemini のアーキテクチャには、最新のエンタープライズ レベルの LLM と同様に、ユーザー プロンプトをリアルタイムで制御するフィルターが組み込まれています。システムが暴力、自殺、自傷行為に関連するキーワードを検出すると、理論的には、事前にプログラムされたメッセージがトリガーされ、国のヘルプラインにリンクされます。

Googleは、チャットボットが男性の行動を明示的に奨励したわけではなく、ソフトウェアはセキュリティガイドラインに従って動作していたと指摘している。しかし、原告らの主張は相互作用の累積効果に基づいている。たとえシステムが一部のメッセージにヘルプラインを表示したとしても、その前に継続的に行われる「愛情深い」シミュレーションがすでに感情的なダメージを生み出しており、ユーザーはアプリに閉じ込められたままになっています。

影響、法律、ギリシャの現実

米国における司法の発展は、欧州連合、ひいてはギリシャにおける AI 法の施行に影響を与えると予想されます。チャットボットは現在、地域のヘルプラインを組み込む必要があるが、アルゴリズムモデルが人命を危険にさらす場合、企業はより厳しい罰金に直面することになる。

ギリシャ市場にとって、この開発はギリシャ版の Gemini と ChatGPT の動作方法に直接影響します。ギリシャのユーザーが心理的危機を示すデータを入力すると、プラットフォームは言語だけでなく、自殺介入ライン (1018) や国内の医療構造を参照する地理的背景も認識する必要があります。

リスクに基づいて人工知能システムを分類する欧州 AI 法は、汎用 AI (LLM) の要件を改訂する可能性があります。裁判所が「中毒性」または「感情に依存した」デザインがシステム上のリスクであると認定すれば、企業はUI/UXの再設計を余儀なくされることになる。ギリシャでは、デジタルリテラシーが十分でないにもかかわらず、若い年齢から生産的な人工知能の使用が増加しているため、このようなローカルフィルターの統合が絶対に不可欠となっています。

テックギア提供

この事件は、機械学習と心理的安全性を隔てる大きな隔たりを浮き彫りにしました。 LLM の進化を見ると、自社のモデルを可能な限り「人間的」に聞こえるようにするための企業によるたゆまぬ努力に気づきます。ベンチマークで評価されることが多いこの行動シミュレーションの仕組みは、エンド ユーザーの心理的不安定性という重要なパラメータを見落としています。アルゴリズムにはボディランゲージを読み取る能力も、言葉の重みを理解する能力もありません。統計的に可能なトークンを生成するだけです。

Googleに対する訴訟は、ソフトウェアにおける「製造物責任」に関するAeolosの袋を開くことになる。サポートラインの電話による一般的なポップアップ メッセージでは、もはや十分ではありません。会話が精神医学的責任の領域に入った場合にAIが中断するように訓練される方法には、抜本的な変更が必要である。