AI 企業 Anthropic が、業界の競争激化の中、安全性の基本原則を修正

Claude チャットボットを開発した AI 企業である Anthropic は、安全技術に重点を置いて設立され、会社の競争力を維持するために安全への取り組みを縮小しているようです。

同社は火曜日、潜在的に危険で大規模なサイバー攻撃などの状況を引き起こす可能性のあるAIの開発を防止することを目的とした一連の自主ガイドラインである責任拡大ポリシーを変更したと発表した。

一方、 更新されたガイドライン Anthropic社は、AIを開発する際には依然として「壊滅的なリスクが抑制されているという強い主張」が必要だと述べているが、現在では開発は「当社に大きなリードがあると信じられなくなるまで」のみ延期されると述べている。つまり、競合他社に対してリードしていると信じられない場合、同社は開発を続けるということだ。

同社は、米国でAIの安全性に対する懸念が同社の経済的可能性を後回しにしたため、この措置に踏み切ったと述べた。

「過去 3 年間で AI 機能が急速に進歩したにもかかわらず、AI の安全性に関する政府の取り組みはゆっくりと進んでいます。」と同社は述べています。 ブログ投稿で述べた。

「政策環境はAIの競争力と経済成長を優先する方向に移行しているが、安全性を重視した議論はまだ連邦レベルで有意義な推進力を獲得していない。」

アンスロピック社の安全ガイドラインの変更は、同社の技術をあらゆる合法的な軍事目的で使用することが許可されない限り、国防総省が同社との契約を解除すると脅迫したことを受けて行われたが、アンスロピック社はガイドラインの変更は無関係だと主張している。

この AI 企業はこれまで、安全を最優先することを売りにしてきました。

人類は 2021年設立 OpenAIの元従業員らは、同社が安全性よりも開発を優先していることを懸念していた。 CEOのダリオ・アモデイ氏も、 AIのマイナスの可能性、大規模な人的災害を含むそして安全性は今後もAnthropicにとって「最高レベルの焦点」であると主張した。 Fortune 誌の 12 月のインタビュー。

ブログ投稿では、同社の安全慣行は常に更新されるよう意図されており、今回の新たな反復により、報告書と安全目標を定期的に発行するという新たな取り組みにより、同社の「透明性と説明責任」が向上すると述べた。

しかし、独立系研究団体AI Now Instituteの主任AI科学者ハイディ・クラーフ氏は、Anthropicは安全第一の評判にもかかわらず、人体への危害を防ぐ試みに関しては常に不十分だと語る。

• Cross Country Checkup は「AI をどのように活用していますか?」と問いかけています。 AI は私たちの生活を良くするのでしょうか、それとも悪くするのでしょうか?あなたのことを残してください ここにコメントする 私たちはそれを読むか、日曜日の番組のために折り返し電話するかもしれません。

クラーフ氏は、アンスロピックは最初の安全政策から、地球規模での壊滅的な出来事の可能性に焦点を当てすぎてきたと語る。チャットボットのありがちなエラーなど、現在の AI テクノロジーから生じる可能性のある危害の可能性を考慮する必要はありません。

Claude チャットボットは過去に もの 詐欺計画やマルウェア作成の試みで、最近では メキシコ政府のデータを盗むために使用され、 サイバーセキュリティ研究者によると。

彼女は、同社がこれまで自社を宣伝するために使用していた「安全性の装い」を取りやめているのは、それが企業にとって最善の利益ではないことが明らかになったからだと述べた。

「これは、彼らが営業を続けていることを示すための戦略的発表だ」とクラーフ氏は語った。

見る |カナダ、テクノロジーの開発を監視する AI ウォッチドッグを開始:

カナダ、テクノロジーの安全な開発と使用を監視するAIウォッチドッグを開始

人工知能技術の世界的な急速な進歩と展開の中で、連邦政府は数百万ドルを投資して、既存の 3 つの研究所の知恵を 1 つに統合し、今後の潜在的な危険を監視できるようにしました。

この発表は、Anthropic、OpenAI、GoogleなどのトップAI企業間の熾烈な競争の最中に行われた。これらの企業は競合するチャットボットを抱えており、いずれも自社のテクノロジーを企業や政府部門と統合するための素晴らしい契約を結んでいる。

ドナルド・トランプ米大統領政権もAI開発に全力で取り組む姿勢を示しており、 資金提供を差し止めると脅された 業界における米国の優位性を抑制する法律を制定する州から。

オタワ大学の情報法と政策のカナダ研究委員長であるテレサ・スカッサ氏は、米国政府のルールなき姿勢により、企業が安全を優先することが難しくなっている、「なぜなら、そんなことをすれば、企業は後塵を拝することになるからである」と述べている。

そのため、カナダも厳しい立場に置かれている、と彼女は言う。なぜなら、ここでの規制は、米国に比べて自国のAI開発を後退させたり、カナダ企業が国境の南に移転することを奨励したりする可能性があるからである。 少なくなるだろう 彼らの技術に対する制限。

「そして、今のカナダではそんな余裕はないというのが感覚だと思います」とスカッサ氏は語った。 「つまり、AI 規制にどのような波及効果があるのかがここでわかります。」

彼女はカナダ以来と言っています 人工知能およびデータ法は 2025 年に廃止されるカナダ政府は、アメリカ政府と同様に、広範なAI規制を課そうとはしていません。

安全性の変更は国防総省との争いとは関係ないと同社は言う

Anthropic の安全ガイドラインの変更は、国防総省からの圧力を受けて行われました。

人間的 米国国防総省と協定を結んだ 7月には最大2億ドルの価値があり、政府はその技術を軍事目的で使用することが許可されるが、企業内でのみ使用できる。 使用ガイドライン — Anthropic がチャットボットのクロードを含む、顧客がその製品をどのように使用できるか、できないかについて定めた一連のルール。

見る | AI チャットボットが仲間意識や投票意向にどのように影響を与えるか:

AI チャットボットが仲間意識や投票意向にどのように影響するか

世界中で、仲間やつながりを求めて AI チャットボットを利用する人が増えています。一方、新しい研究は、これらのチャットボットが人々の投票意図にさえ影響を与える可能性があることを示しています。研究の共著者で米国コーネル大学准教授のゴードン・ペニークック氏が、自身の研究と、AIチャットボットが従来のテレビ広告とは異なる潜在的な有権者にどのような影響を与える可能性があるかについて語ります。

これらのガイドラインは、米国政府を含むいかなる者も、兵器の設計や開発を含むさまざまな目的でAnthropicのAIツールを使用することを禁じている。

しかし、によると レポート、ピート・ヘグセス米国防長官は火曜日の会議でアモデイCEOに最後通牒を発し、軍がすべての合法的な軍隊に自社のAIツールを使用することを金曜日まで認めるとの期限を与えた。 または、政府との契約を失い、サプライチェーンのリスクに指定されるリスクがあります。

アンスロピック社は政府とのやりとりの中で、政府が自律型兵器システム（AIのみで標的に発砲できるシステム）や集団監視システムに同社の技術を使用することは許可しないと述べた。

しかし国防総省当局者は メディアに語った この論争には自律型兵器や集団監視におけるAIの潜在的な利用は含まれておらず、政府は常に法律に従っていると主張している。

アンスロピックは、責任ある規模拡大政策の更新と国防総省の要求は無関係であると述べている。 Anthropic によると、Hegseth の問題はスケーリングポリシーではなく、同社の使用ポリシーにあるという。

金曜日の締め切りを前に、アモデイ氏は次のように述べた。 ブログ投稿 アンスロピック社は政権の意向には応じないだろうと述べ、国内監視や自律兵器への自社技術の利用に対する同社の反対を強調した。

アモデイ氏は、国防総省が再考することを望んでいるとしながらも、国防総省が契約解除を決定した場合には「別のプロバイダーへのスムーズな移行が可能になるよう努める」と述べた。

「私たちの強い希望は、要請された2つの安全措置を講じて、引き続き省と戦闘員に奉仕することです」とアモデイ氏は書いた。