32GB RAM を搭載した Mixtile Blade 3 SBC を使用した Rockchip RK3588 上の AI と LLM のテスト

これは私にとって素晴らしいニュースです Rockchip チップセットの調査、まだ道はありますが、現在はマリが機能しているようです GPU の加速 LLMそして、より多くの人がこの種のテストを行うようになる ARM これは有益であると同時に、私が検討してきた小規模モデルのエッジ AI シナリオに関心があることの表れでもあります。

偶然、見てみたのですが、 llm-rk3588 私のものを手に入れたとき オレンジパイ 5+ (実際には 1 つで開発されました) が、次の理由で破棄されました。 NPU 本当に使えない LLMs と、必要なファームウェア BLOB が私の Armbian ビルドではロードされませんでした (リポジトリの所有者が Orange Pi linux ディストリビューションを使用していたと思われます)。

焼き付けた方が良いと思います ollama Apple Silicon や Intel チップと同等のベースライン、つまり少なくともまったく同じモデル重量を持つ必要がありますが、これを見るのは素晴らしいことです。 何か Mali GPU で動作させることができます (ただし、どのモデル層にメリットがあるのか、量子化をどのように処理するのかなどについてはよくわかりません)。

ただし、ここで使用されたものを再現して (できればローカルで構築して微調整して) みて、両方を提供できるようにしてみます。 CPU そして GPU 推論では、トレイに置いている同様の (ただしよりコンパクトな) 32GB RAM ボードを使用します。

このスペースをご覧ください (私は多くの仕事とその他の物理的なテストで忙しかったのです…)