イーロン・マスクの xAI が初のマルチモーダル モデルである Grok-1.5V をプレビュー

イーロン・マスクのOpenAIライバルは、初のマルチモーダル・モデルを導入した。 テキストを理解できるだけでなく、文書、図、グラフ、スクリーンショット、写真に表示されるものを処理することもできます。 Grok-1.5 Vision (Grok-1.5V) は、早期テスターと既存の Grok ユーザーに間もなく提供される予定です。

「Grok-1.5V は、学際的な推論から文書、科学図、チャート、スクリーンショット、写真の理解に至るまで、多くの領域で既存のフロンティア マルチモーダル モデルと競合します」と同社はブログ投稿で宣言しています。

本日の発表は、xAI が更新されたチャットボット モデル Grok-1.5 を発表してから数週間後に行われます。

同社は、フローチャートのホワイトボードスケッチを Python コードに変換したり、子供の絵から単純に就寝前のストーリーを生成したり、ミームを説明したり、表を CSV ファイル形式に変換して、デッキの木が腐っているので交換が必要です。

GPT-4V、Claude 3Sonnet、Claude 3 Opus、Gemini Pro 1.5 と比較してテストしたところ、xAI はそのマルチモーダル モデルが際立っていると主張しています。 Grok-1.5V が、現実世界の空間理解を評価するために作成した新しい指標である RealWorldQA ベンチマークで競合他社を上回っていることを特に誇りに思っています。

まず、RealWorldQA は、700 を超える画像と各項目の質疑応答を使用してトレーニングしました。 画像は、車両から撮影された匿名化された画像から他の現実世界のサンプルまで多岐にわたりました。 xAI は、クリエイティブ コモンズ ライセンスに基づいて RealWorldQA を一般公開しています。

マスク氏の AI 会社は、2023 年 11 月にチャットボットが初めて登場して以来、OpenAI やその他の市場リーダーに追いつくために進歩を続けています。xAI が Grok AI をオープンソースにしてから 1 か月も経たないうちに Grok-1.5V が登場しました。 しかし、その取り組みには論争がなかったわけではない。 今月初め、研究者らはGrokチャットボットがユーザーに犯罪行為を指示する可能性があることを明らかにした。

それでも xAI は「有益なサービス」の構築を追求し続けます。 [artificial general intelligence]」宇宙を理解することができます。 これは、今後数か月以内に Grok AI のマルチモーダルな理解と生成機能に「重要な」アップデートが行われることを明らかにしています。