世界

メタのgenaiの副社長は、ラマ4のベンチマークスコアの操作を拒否しています

ファイル写真：メタのGenai副社長は、Xに関する声明を投稿し、同社が制限を隠しながら特定のベンチマークでAIモデルをより良く機能させたことを否定しました。 |写真クレジット：ロイター メタのgenaiの副社長であるAhmad al-Dahleは、Xに関する声明を、同社が制限を隠しながら特定のベンチマークでAIモデルをより良く機能させたという申し立てを否定しました。彼はまた、Llama 4モデルが約束された高品質のパフォーマンスを提供しなかったという苦情に対処しました。「私たちはすでにこれらのモデルで多くの素晴らしい結果を得ている多くの素晴らしい結果を聞いています。それは、さまざまなサービス全体で混合品質のレポートを聞いていることも聞いています。彼らが準備ができたらすぐにモデルを落としたので、すべての公開実装がダイヤルされるまでに数日かかると予想しています」と彼は指摘しました。彼は、メタがまだバグを修正するために働いていて、ユーザーが見ていた品質の低下は、彼らが待つ必要があるものであると付け加えたと付け加えました。 「私たちはまた、テストセットでトレーニングしたという主張を聞いたことがあります。それは単に真実ではなく、決してそうすることはありません」と彼は述べました。テストセットは、通常、トレーニング後のAIモデルのパフォーマンスを測定するために使用されるデータです。テストセットでのトレーニングは、モデルのベンチマークスコアが改善された可能性があることを示しているため、実際よりも誤って見えるようになります。噂は、オンラインでのバイラル投稿が、会社の灰色のベンチマーク慣行のためにメタを辞めたと主張した元従業員によって書かれた後に始まった後に始まりました。ウイルスの投稿は検証されていませんでしたが、メタAIユーザーの間で疑問と懸念を引き起こしました。リリース中、同社は、彼らの新しい中規模のAIモデルであるMaverickがOpenaiのGPT-4oよりも能力があり、現在リーダーボードのトップであるGoogleのGemini 2.5 Proのすぐ下にあると主張しました。ただし、土曜日以来、テスターがモデルの使用を開始したため、Metaが主張するパフォーマンスと一致しませんでした。最終的に、AIの研究者は、彼らの研究論文で、メタは、公衆が利用できるマーベリックのバージョンは、パフォーマンスリーダーボードのLmarenaに提出されたものとは異なることに注目していることを発見しました。メタは、このバージョンを「会話のために最適化された」マーベリックの「実験的チャットバージョン」と呼んでいました。メタの広報担当者は、後にこれを確認し、ラマーナに送られたモデルバージョンは実際には「ラマ-4マベリック-03-26エクスペンタル」であると述べた。 公開 - 2025年4月9日02:35 PM IS #メタのgenaiの副社長はラマ4のベンチマークスコアの操作を拒否しています