1722283800
2024-07-29 19:41:12
（サイブレイン/Shutterstock）
大規模マルチモーダル モデル (LMM) の開発には、画像とテキストを統合した包括的なデータセットが不可欠です。これらのデータセットは、人間と同じように、複数のモダリティにわたってコンテンツを解釈および生成できる高度なモデルの作成に役立ちます。ただし、AI 機能が進化し続けるにつれて、高品質で多様なデータセットの必要性が高まり、研究者はデータ収集とキュレーションの革新的な方法を模索するようになります。
テキストと画像を組み合わせたオープンソースのマルチモーダルインターリーブデータセットが不足しているのは、コストの高さ、データの多様性の限界、そしてそのようなデータの収集と整理に伴う複雑さが原因です。その結果、オープンソースモデルと独自モデルの間にはパフォーマンスのギャップが生じています。
Salesforce AI Researchは、より大規模で多様なマルチモーダルインターリーブデータセットのニーズに対応するために、 MINT-1Tをリリース1兆個のテキストトークンと34億枚の画像を現実世界の文書を模倣した形式で組み合わせたこのデータセットは、AIにおけるマルチモーダル学習を前進させるユニークで貴重なツールを提供します。Salesforceは、この新しいデータセットは他の公開データセットよりも10倍広範囲であると主張しています。
「画像とテキストの自由形式のインターリーブシーケンスを特徴とするマルチモーダルインターリーブデータセットは、最先端の大規模マルチモーダルモデル（LMM）のトレーニングに不可欠です」と研究者らは論文で説明しています。 arXivに掲載された論文「オープンソースの LMM が急速に進歩しているにもかかわらず、大規模なオープンソースのマルチモーダルインターリーブデータセットは依然として著しく不足しています。」
MINT-1T は、スタンフォード大学、テキサス大学オースティン校、ワシントン大学、Salesforce Research、カリフォルニア大学バークレー校の研究者によって開発されました。チームは、以前に公開されていたデータセットからデータを取得し、フィルタリングし、重複を排除するという複雑なプロセスを採用しました。
HTML ドキュメント、PDF、ArXix 論文のデータが解析され、多様なマルチモーダル コンテンツのコレクションが確保されました。高度なフィルターにより不適切または低品質のデータが削除され、重複排除方法により重複データが削除されました。
OBELICS や MMC4 などの他のオープンソース データセットは 1,150 億トークンを使用していますが、MINT-1T で使用される 1 兆トークンに比べるとはるかに少ないです。MINT-1T の印象的なのはサイズだけではありません。幅広いソースにまたがるデータの多様性も印象的で、AI モデルに幅広い人間の知識の基盤を提供します。
（ライトスプリング/シャッターストック）
MINT-1Tの導入は、マルチモーダル学習の進歩と、コミュニティが大規模なマルチモーダルモデルを研究および構築するための貴重なリソースを提供する上で大きな前進です。個人の研究者や小規模なチームは、大手テクノロジー企業に匹敵するデータにアクセスできるようになりました。
MINT-1T データセットは、トレーニングと開発のためのより豊富で多様なデータセットを提供することで、仮想アシスタント、自律ナビゲーション システム、オブジェクト認識、シーン理解など、さまざまな AI アプリケーションの開発も強化します。
MINT-1T データセットのリリースはイノベーションのきっかけとなる可能性がありますが、同時にいくつかの障害も生じます。MINT-1T の規模の大きさは、ソース マテリアルに存在するプライバシーの問題や偏見を増幅させる可能性が大きくなることを意味します。AI コミュニティは、このツールが AI の未来を形作る可能性があるため、このツールの使用方法に注意する必要があります。さらに、これらの課題に対処する堅牢なフレームワークの開発も検討する必要があります。
最近の傾向は、オープンソースAIがAIの未来であることを示しています。これにより、世界中のより多くの人々がAIのメリットと機会にアクセスできるようになります。マーク・ザッカーバーグを含む数人のテクノロジーリーダーは、 オープンソースAIが未来への道しかし、高度な AI ツールにアクセスできる人が増えるにつれて、その開発を誰が指導するかという倫理的および責任的な懸念がますます重要になってきます。
関連商品
Gretel が 100,000 件のテキストから SQL へのサンプルをオープンソース化
Rockset が大規模なベクターサービングのためのデータベースを構築
#マルチモーダル #イノベーションにおける画期的なマイルストーン