科学＆テクノロジー

新しい種類のAIモデルを使用すると、データ所有者が制御できます

新しい種類 の 大きな言語モデル、AIのアレン研究所（AI2）の研究者によって開発されたため、モデルが構築された後でも、トレーニングデータの使用方法を制御できます。Flexolmoと呼ばれる新しいモデルは、現在の業界のパラダイムに挑戦する可能性があります 人工知能 企業 データの刻み ウェブ、本、その他のソースから - しばしば 所有権をほとんど考慮しません- そして、結果のモデルを完全に所有します。今日、データがAIモデルに焼かれたら、そのモデルから抽出することは、完成したケーキから卵を回収しようとするようなものです。「従来、あなたのデータは出入りしています」と、ワシントン州シアトルに本拠を置くAI2のCEOであるAli Farhadiは言います。 「そのデータをトレーニングすると、コントロールが失われます。そして、私に別の数百万ドルのトレーニングラウンドを強制しない限り、あなたは抜け出すことができません。」AI2のAvant-Gardeアプローチは、データ所有者が制御を行使できるようにトレーニングを分割します。 Flexolmoモデルにデータを提供したい人は、最初に「アンカー」として知られる公開モデルをコピーすることでそうすることができます。次に、独自のデータを使用して2番目のモデルをトレーニングし、結果をアンカーモデルと組み合わせて、結果を3番目の最終モデルを構築している人に貢献します。このように貢献することは、データ自体を引き渡す必要がないことを意味します。また、データ所有者のモデルが最終モデルとどのように融合されているかにより、後でデータを抽出することができます。たとえば、雑誌の出版社は、記事のアーカイブからモデルにテキストを提供するかもしれませんが、後でそのデータでトレーニングされたサブモデルを削除するかもしれません 法的紛争がある場合 または、会社がモデルの使用方法に反対する場合。「トレーニングは完全に非同期です」と、AI2の研究科学者であるSewon Minは、技術的な仕事を主導しました。 「データ所有者は調整する必要はなく、トレーニングは完全に独立して行うことができます。」Flexolmoモデルアーキテクチャは、「専門家の混合」として知られているものです。これは、いくつかのサブモデルをより大きく、より能力のあるものに同時に組み合わせるために使用される人気のあるデザインです。 AI2からの重要な革新は、独立して訓練されたサブモデルを統合する方法です。これは、モデル内の値を表すための新しいスキームを使用して達成され、最終的な結合モデルが実行されたときにその能力を他の能力と統合できるようにします。アプローチをテストするために、Flexolmoの研究者は、本やWebサイトなどの独自のソースからFlexMixと呼ばれるデータセットを作成しました。彼らは、Flexolmo設計を使用して、Metaの最大のオープンソースモデルの約10分の1のサイズの370億パラメーターを持つモデルを構築しました。その後、モデルを他のモデルと比較しました。彼らは、すべてのタスクの個々のモデルよりも優れていることを発見し、独立した訓練されたモデルをマージするための2つの他のアプローチよりも一般的なベンチマークで10％が優れていることがわかりました。その結果、ケーキを持って卵を取り戻す方法があります。 「大きな損傷と推論時間なしでシステムをオプトアウトすることができます」とファーハディは言います。 「これは、これらのモデルをトレーニングする方法についてまったく新しい考え方です。」 #新しい種類のAIモデルを使用するとデータ所有者が制御できます