Meta の AI 戦略の内部: ザッカーバーグ氏はコンピューティング、オープンソース、トレーニング データを強調

今週行われたビッグテックの決算会見ではいずれも、各社のAIへの取り組みについての洞察が得られた。 グーグル 集中した 検索とクラウドにおける生成 AI の取り組みについて。 マイクロソフト 掘り下げた AI の技術スタック全体への統合について詳しく説明します。 そしてアマゾン 話しました チップス、Bedrock、そしてそうそう、AI を活用した新しいショッピング アシスタントである Rufus です。 しかし、AI 戦略について最も深く掘り下げた内容を提供するという点では、Meta はそれらすべてに勝っていたと思います。

Meta AI プレイブックは、オープンソース AI に一貫して焦点を当てていることと、Facebook や Instagram の公開投稿やコメントから得られる膨大で増え続ける AI トレーニング データのおかげで、多くの点でユニークです。

それで興味深かったのは、 昨日のメタの2023年第4四半期決算発表、 CEOのマーク・ザッカーバーグ氏はまず、AI開発の最も競争の激しい分野の1つであるコンピューティングにおける自社の有利な立場を宣伝した。

ザッカーバーグ氏は、メタには、最も人気があり最先端のAI製品とサービスを構築するリーダーになるための明確な長期戦略があると述べ、また、その取り組みに必要だと同氏が主張した「完全な汎用インテリジェンス」を構築することも述べた。 この最初の重要な側面は「世界クラスのコンピューティング インフラストラクチャ」であると同氏は述べました。

ザッカーバーグ氏は続けてこう繰り返した 彼が最近明らかにしたこと 最近の Instagram リールでは、今年末までに Meta には約 35 万台の H100 が搭載される予定です。他の GPU を含めると、合計で約 60 万台の H100 相当のコンピューティングになる予定です。 メタがそんなことをする理由は何でしょうか？ 驚き、驚き — Instagram Reels。

「リールズから学んだ教訓のおかげで、私たちは現在良い位置にいます」と彼は説明しました。 「当初、Reels 用の GPU クラスターの構築が不十分でしたが、それを検討していたときに、Reels と、今後登場すると予想される別の Reels サイズの AI サービスの両方をサポートするのに十分な容量を構築する必要があると判断しました。またあの状況が。」

メタは「勝つためにプレーしている」とザッカーバーグ氏は付け加え、将来のモデルのトレーニングと運用はさらにコンピューティング集約的になるだろうと指摘した。

「これがどれくらいになるかについてはまだ明確な予想はできませんが、最先端の大規模言語モデルは毎年約 10 倍のコンピューティング量でトレーニングされる傾向にあります」と同氏は述べています。 。 「私たちのトレーニング クラスターはインフラストラクチャ全体の一部にすぎず、残りの部分は明らかにそれほど急速に成長していません。」 同社は今後もこの分野に積極的に投資していく予定で、「最先端のクラスターを構築するために、新しいデータセンターの設計や、ワークロードに特化した独自のカスタムシリコンの設計も行っている」と同氏は説明した。

オープンソース AI 戦略が最前線にあった

次に、ザッカーバーグ氏は、メタ社の決して揺るぎないオープンソース戦略に焦点を当てた。メタ社は、この問題に関して、最初の漏洩を含め、この問題で議員や規制当局から批判され、さらには非難されてきたにもかかわらず、である。 ラマの最初のバージョン、研究者のみが利用できるように意図されていました。

「当社の長年の戦略は、特定の製品の実装を独占的に保ちながら、一般的なインフラストラクチャを構築してオープンソースにすることでした」と同氏は述べた。 「AI の場合、一般的なインフラストラクチャには、現在トレーニング中でこれまでのところ見栄えが良い Llama 3 を含む Llama モデルと、私たちが開発した PyTorch などの業界標準ツールが含まれます。 オープンソースへのこのアプローチは、業界全体に多くのイノベーションをもたらし、それを私たちは深く信じています。」

ザッカーバーグ氏はまた、Meta のビジネスに対するオープンソース アプローチについても重要な詳細を提供し、その声明はすでにソーシャル メディアで広く共有されています。

「いくつかの戦略的利点があります。 まず、オープンソース ソフトウェアは通常、コミュニティからの継続的なフィードバック、精査、開発により、より安全で安全なだけでなく、運用のコンピューティング効率も向上します。 安全性は AI の最も重要な問題の 1 つであるため、これは大きな問題です。 効率の向上とコンピューティングコストの削減は、私たちを含むすべての人に利益をもたらします。 第 2 に、オープンソース ソフトウェアは業界標準になることが多く、企業が当社のスタックを使用した構築を標準化すると、当社の製品に新しいイノベーションを統合することが容易になります。

それは微妙ですが、迅速に学習して改善できることは大きな利点であり、業界標準であることでそれが可能になります。 第三に、オープンソースは開発者や研究者の間で非常に人気があります。 私たちは、人々が広く採用されるオープン システムに取り組みたいと考えていることを知っています。そのため、これはメタ社で優秀な人材を採用するのに役立ちます。これは、新しいテクノロジー分野をリードする上で非常に重要なことです。 繰り返しになりますが、私たちは通常、独自のデータを持ち、独自の製品統合を構築しているため、Llama のようなインフラストラクチャをオープンソースとして提供しても、私たちの主な利点が減ることはありません。 これが、当社の長年の戦略が一般インフラストラクチャのオープンソースである理由であり、それが今後も当社にとって適切なアプローチであり続けると期待している理由です。」

最後に、私はザッカーバーグが Meta の製品における「独自のデータとフィードバック ループ」を強調したことに魅了されました。

モデルを事前にトレーニングする大規模なコーパスに関して、ザッカーバーグ氏は、Facebook と Instagram には「数千億の公開共有画像と数百億の公開ビデオがあり、その数は Common Crawl のデータセットや人々よりも多いと我々は推定しています」と指摘しました。多数の公開テキスト投稿をコメントで当社のサービス全体で共有することもできます。」

の 共通のクロール データセット 2008 年以来定期的に収集されたペタバイト単位の Web データ (生の Web ページ データ、メタデータ抽出、テキスト抽出) が含まれています。 それは巨大です。 したがって、メタが潜在的にさらに大きな独自の大きなコーパスにアクセスできるという考えは、文字通り大きなものです。

しかし、ザッカーバーグ氏はさらに次のように述べました。「事前のトレーニング コーパスよりもさらに重要なのは、当社の製品全体で AI サービスを操作する何億人もの人々との適切なフィードバック ループを確立できることです。 そして、このフィードバックは、特に新しいルールに基づいて AI システムを再構築する必要があった過去 2 年間に、リールと広告を使用して AI システムをこれほど迅速に改善できた大きな部分を占めています。」

昨日のブルームバーグの記事は、メタのラマモデルの成功により、実際のラマが 非公式マスコット オープンソース AI イベントの概要。

しかし、メタ社の収益報告に何らかの根拠があるとすれば、メタ社は、かわいくて毛羽立ったラクダ科の動物よりもはるかに先へ進む意欲があるようだ。メタ社によれば、それよりもさらに先へ、何十億ドルもかかるという。 設備投資のヒント 2024 年に向けて — 競争が激しく、ますます高速化する AI レースで勝利すること。