1707341790
2024-02-07 21:22:36
アレンAI研究所（AI2）が発表した ニレの木これは、モデル自体の構築に何が行われたかを知りながら、企業がアプリケーションを構築するために使用できる「真のオープンソース」大規模言語モデルであると説明されています。
OLMo は、モデル コード、重み、トレーニング コード、データ、評価スイートとともに公開されているため、ユーザーはそれがどのように設計、トレーニング、評価されたかを正確に確認できます。
OLMo が構築されたのは 充填、AI2 が構築した 3 兆のトークンで構成されるデータセット。 モデル自体には 4 つのサイズがあり、パラメータは約 70 億個あり、米国の Llama 2-7B などと競合します。 メタ そしてミストラルさんの ミストラル 8x7B。
AI2 は、故 Microsoft 共同創設者である Paul Allen によって設立されました。 非営利研究グループは、新しいオープンソースモデルにより「学者や研究者が言語モデルの科学を共同で研究できるようになる」と述べた。
同研究所は、OLMo が基礎となるトレーニング面のすべてへのアクセスを提供することで、オープンなアプローチとしてモデルを微調整する際に、「AI の脱炭素化において重要な開発上の冗長性を根本的に削減する」際に、炭素削減量を削減できると述べています。
このようなシステムを公開すれば、「モデルのパフォーマンスの定性的な仮定に依存する必要がなくなる」ため、研究者の作業効率も向上するとAI2は述べた。
Meta のような大手企業は、自社の AI システムをオープンソース化すると約束していますが、オープン AI モデルを本当に構成するものについては、AI 専門家の間でもいくつかの議論があります。 ちょうど今週、Amazon の機械学習ストラテジストが 定義に疑問を呈した ロンドンで開催された業界カンファレンスで、モデルがオープンソースであることが何を意味するのかについて語った。
OLMo の完全な透明性のアプローチをコピーするモデルは他にもあります。 咲く そしてファルコン。 Microsoft の最高科学責任者であり、AI2 科学諮問委員会の創設メンバーでもあるエリック ホーヴィッツ氏は、AI 研究者が利用できるこの最新のオープン モデルについて熱意を表明しました。
Meta のチーフ AI サイエンティスト、Yann LeCun 氏は、OLMo のリリースを受けて、オープンソースから生まれるコミュニティが「AI の未来を構築する最速かつ最も効果的な方法」であると述べました。
ドルマとパロマ
OLMo のリリースに合わせて、AI2 も発表されました パロマ、オープン言語モデルを評価するためのベンチマーク。
パロマは、ニッチなアーティスト コミュニティからメンタルヘルスに関する Reddit フォーラムに至るまで、複数の領域にわたる自然言語処理タスクのモデルをテストしています。これにより、このテスト ツールを、他のモデル テスターが適用すると考えられる多数の領域に適用できるようにしています。
企業は、OLMo の事前トレーニング データセットである Dolma を利用することもできます。 このデータセットは、Web コンテンツ、学術出版物、書籍からの 3 兆のトークンで構成されており、商用アプリケーションとして一般に利用可能であり、 ハグフェイスハブ。
#OLMo #大規模言語モデルは真のオープンソース