世界

AnthropicはAIにおける最大の問題の1つを解決することを目指している

人類学的 AIスタートアップ企業Anthropicは、Claude 3.5 Sonnet大規模言語モデルがGPT-4oやLlama-400Bなどの他の主要モデルに勝利したという発表に続き、月曜日に、今後のモデルを評価するための独立したサードパーティのベンチマークテストの開発に資金を提供する新しいプログラムを開始する予定であると発表した。 ブログ投稿によると、同社は「AIモデルの高度な機能を効果的に測定できる」ベンチマークを作成するためにサードパーティの開発者に報酬を支払う用意があるという。 「これらの評価への当社の投資は、AIの安全性の分野全体を向上させ、エコシステム全体に利益をもたらす貴重なツールを提供することを目的としている」とアンスロピックは月曜日のブログ投稿で述べた。「高品質で安全性に関連した評価の開発は依然として困難であり、需要が供給を上回っている。」 同社は、サイバーセキュリティ、化学・生物・放射線・核（CBRN）、不一致、社会的操作、その他の国家安全保障上のリスクを含む可能性のある応答を強制する試みにAIがどれだけ抵抗するかなど、さまざまな要素に基づいてAIの相対的な「安全レベル」を測定するのに役立つベンチマークの提出を求めている。Anthropicはまた、モデルの高度な機能を評価するのに役立つベンチマークを探しており、「大学院生でも挑戦できる数万の新しい評価質問とエンドツーエンドのタスクの開発」に資金を提供する用意がある。これは基本的に、さまざまなソースから知識を統合するモデルの能力、巧妙に表現された悪意のあるユーザーリクエストを拒否する能力、および複数の言語で応答する能力をテストするものである。 アントロピックは、さまざまなテスト形式で最大「数千人」のテスターが関与する「十分に難しい」大量のタスクを求めており、そのタスクは同社の「現実的で安全性に配慮した」脅威モデリングの取り組みに役立つ。関心のある開発者は、同社に提案を提出することができ、同社はそれを随時評価する予定だ。 #AnthropicはAIにおける最大の問題の1つを解決することを目指している