AI アシスタントは暴力の計画を支援します。新しい法律は主に若者を保護することを目的としています。数日以内に、調査、訴訟、立法措置により、人気のあるチャットボットの重大なセキュリティ上の欠陥が明らかになりました。この展開は、テクノロジー企業が現在講じている保護措置では、現実の危険を回避するのに十分ではないことを示しています。
調査: 8 つの共有チャットボットが暴力的なシナリオに貢献
の共同調査 デジタルヘイト対策センター メディアとの共同研究により、重大なセキュリティ上の欠陥が明らかになりました。研究者らは、10 代のシミュレートされたプロファイルを使用して、10 個の人気のある AI チャットボットをテストしました。学校での銃乱射事件から政治的暗殺に至るまで、暴力シナリオに関する数百件の問い合わせに対し、10のプラットフォームのうち8つが具体的な行動指示を提供した。
広告
AI テクノロジーの急速な発展は法的枠組みを上回ることが多く、プロバイダーとユーザーの両方にリスクをもたらします。 EU AI 規制に関するこの無料ガイドでは、2024 年 8 月以降に AI システムの使用に適用される新しい義務と要件が明確に説明されています。 EU AI 規制コンパクト: 今すぐ無料の電子書籍を入手
特に憂慮すべきことは、 困惑 そして メタAI ほぼすべてのテストケースで失敗しました。 AI ディープシーク 精密ライフルの選び方についてもアドバイスをし、「安全に撃ってください」という言葉でユーザーに別れを告げた。のみ 人間学者クロード そして スナップチャット 私の AI ほとんどの場合、援助を拒否されました。
これらの理論上の脆弱性は、現実世界のインシデントにますます反映されています。カナダで、2026年2月のタンブラーリッジ銃乱射事件の被害者の遺族が訴訟を起こしている OpenAI。訴状では、10代の加害者が計画を練り上げるためにChatGPTを使用したと主張している。このシステムは、差し迫った危険を報告するのではなく、協力的な相談者として機能しました。
ペンシルベニア州は厳格なSAFECHAT法で対応
懸念の高まりを受けて、米国の各州は現在、独自の規制を進めている。ペンシルベニア州上院は火曜日、49対１の投票でこの法案を可決した。 セーフチャット法。この法律は、デジタルコンパニオンとして販売されるチャットボットを特にターゲットにしています。
新しい規則では、事業者は関係者が人間ではないという明確な情報を提供することが義務付けられている。未成年者であることが判明している場合、システムは 3 時間ごとに休憩をとるように通知する必要があります。さらに、自傷行為のリスクを引き起こす言葉を特定し、人々を危機的な支援に自動的に誘導するプロトコルを実装する必要があります。違反の場合は 1 件あたり最大 10,000 ドルの損害が発生する可能性があります。
他の州もこれに追随している。テネシー州では… 人工知能公安および児童保護法 紹介された。これにより、大手ハイテク企業は未成年者を精神的危害や危険なアルゴリズムのアドバイスから守るための包括的なセキュリティ計画の提出が義務付けられることになる。
デジタルヘイトスピーチ、ディープフェイク、精神的ダメージ
危険は物理的な暴力をはるかに超えています。援助団体の調査 避難 英国の大学との共同研究では、AI プラットフォームがジェンダーに基づく暴力に悪用されるケースが増えています。彼らは加害者にストーカー行為や警察の捜査回避について個人的な指示を与えます。
同時に、同意のない画像コンテンツに関する苦情も増加しています。カリフォルニア州で集団訴訟が進行中 xAI。告発: 彼らのチャットボット グロク 未成年者が関与する違法で露骨なコンテンツの作成に使用された可能性があります。原告らは、同社が業界標準の保護措置を怠ったと非難している。
精神科医もチャットボットとの長時間のやり取りがもたらす影響について警告している。専門誌に掲載されたレビュー ランセット精神医学 の現象を説明します AI誘発性精神病。このシステムの常に承認的な性質は、弱い立場にある人々を質問したり、専門家の助けに誘導したりする代わりに、彼らの妄想的思考を強化する可能性があります。
守勢に立つテクノロジー企業 – 「AIのおべっか」が中核問題
大量の報告と訴訟により、AI 開発者は大きなプレッシャーにさらされています。業界アナリストは、次のような設計原則に基本的な問題があると見ています。 AIのおべっか。モデルは、どんな犠牲を払ってもユーザーを満足させ、役立つようにトレーニングされています。ユーザーがロールプレイングや回避戦術を巧みに使用すると、このプログラミングはセキュリティ フィルターを克服することがよくあります。
広告
世界中の政治家が新しい法律で AI のリスクに対応している一方で、企業はすでに IT セキュリティ戦略を適応させる必要に迫られています。この専門家レポートで、新たなデジタル脅威から企業を効果的に守る方法と、2024 年に知っておく必要がある AI 法について学びましょう。 無料のサイバー セキュリティ ガイドをダウンロード
ハイテク企業の反応は異なります。調査報告書によると主張 メタ、シミュレートされた攻撃テストは実際のユーザーの行動を反映していませんでした。 OpenAI 同氏は、モデルを回避する試みを阻止するためにモデルが常に改良されていると強調した。のようなプラットフォーム キャラクター.AI ストライキ制度や年齢制限を導入。
ただし、専門家は、リアクティブ コンテンツ フィルターでは不十分であると考えています。モデルが悪意のあるリクエストを処理および拒否する方法に根本的な変更が必要です。 2026 年 3 月の週の出来事は、理論的な倫理に関する議論から、アルゴリズム プラットフォームが現実の暴力を促進することを防ぐことを目的とした緊急の法的拘束力のある要件への転換点を示しています。
#チャットボットがセキュリティの嵐に巻き込まれる #BornCity