あなたの PC は Meta の新しい Llama AI モデルを処理できません (おそらく)

Meta は、Llama 3.3 70B をリリースしました。これは、ダウンロードして独自のハードウェアで実行できる、同社の最も強力な AI モデルの修正バージョンです。ただし、あなたの PC はおそらくその準備ができていません。

他の多くの大規模言語モデル (LLM) と同様に、Meta の Llama 生成 AI モデルは、さまざまなユースケースに合わせていくつかのパラメーター サイズで利用できます。たとえば、最小の Llama 3.2 1B モデルは、平均的なスマートフォンで基本的なタスクを高速なパフォーマンスで処理できますが、大型の 11B および 90B バージョンはより強力で、ハイエンドの PC とサーバーが必要です。 Llama モデルは主にテキストとチャット機能を目的としていますが、一部のバージョンでは画像も理解できます。

Meta の新しい Llama 3.3 70B モデルは、同社最大のモデルである 405B バージョンと同じパフォーマンスを提供する予定ですが、より多くの PC およびサーバーで実行できる機能を備えています。 Meta の生成 AI 担当副社長はソーシャル メディアへの投稿で、「オンライン設定の最適化を含むトレーニング後の技術の最新の進歩を活用することで、このモデルは大幅に低コストでコア パフォーマンスを向上させます。」と述べています。

この新しい 70B モデルは、元の 405B バージョンより大幅に小型化されていますが、許容可能なパフォーマンスでローカルで実行するには、依然として頑丈な PC またはサーバーが必要です。ファイル サイズは 37.14 GB で、通常、LLM を適切に実行するには RAM に収まる必要があるため、おそらく 64 GB RAM を搭載したマシンが必要になります。モデルを実行するには、強力な GPU (または複数のペア) も必要です。

モデルの説明には次のように説明されています。「Llama 3.3 は、複数の言語での商用および研究での使用を目的としています。命令調整されたテキストのみのモデルはアシスタントのようなチャットを目的としていますが、事前トレーニングされたモデルはさまざまな自然言語生成タスクに適応できます。 Llama 3.3 モデルは、そのモデルの出力を活用して、合成データの生成や蒸留などの他のモデルを改善する機能もサポートしています。」

Llama 3.3 70B はほとんどのコンピューティング ハードウェアでは実行できませんが、LM Studio や Nvidia の Chat With RTX などのアプリを使用すると、より小さい 1B、3B、および 8B を多くのデスクトップやラップトップで実行できます。私の 16GB M1 Mac Mini は、クラウドベースの AI チャットボットと同様の速度で Llama 3.1 8B を実行しますが、使用できる RAM が少ないため、8GB MacBook Air では小型の 3B モデルを使用しています。

Llama 3.3 70B および他の Lama モデルは、Meta の Web サイト、Hugging Face、LM Studio の組み込み検索、およびその他のリポジトリからダウンロードできます。

出典: >