1749644801
2025-06-11 00:23:00
この時ipex-llmOllamaを使用してスピードアップする方法を紹介します
GPUが必要であっても
LLMをローカルに実行したい場合は、できるだけ多くのVRAMを備えたグラフィックカードが必要です。ただし、余裕があるのは価格ではありません。そもそも、ラップトップやミニPCなどのグラフィックボードを追加できない場合がたくさんあります。ただし、ミニPCでOculinkを使用できる場合がありますが、それは別としてです。
そのような場合、Intelビルトイン/外部GPUを使用している場合、Ollamaをスピードアップする方法があるので、今回はその方法を紹介します。
Intelグラフィックカード（外部GPU）は、スペックにもかかわらず低価格で販売されています。手元に互換性のあるPCを持っている場合、OllamaなどのLLMをローカルで使用する場合、それは悪い選択ではありません。
これからは、組み込みのGPUはIGPUと呼ばれ、グラフィックカード（外部GPU）はDGPUと呼ばれます。
使用されているハードウェア
まず、今回使用するハードウェアを紹介しましょう。
Igpu
イグプは大丈夫ですが、今回は大丈夫ですUH125 Pro準備しました図1）。 CPUはですコアウルトラ5 125HGPUはIntel Arcグラフィックスです。
DGPU
この時第747章Intel Arc A380の代わりに使用されますAR-A580D6-E8GB/DF私は使用しました（図2）。正直に言うと、この目的のために、Intel Arc A380は強さに欠けています。 Intel Arc A580は安く、利用可能ですが、今すぐ購入しようとしている場合は、最新のIntel Arc B580をお勧めします。
図2 Intel Arc A580を備えた自家製PCのハードウェア情報
私はそれを少し重視しましたが、今回使用されたIGPUとDGPUは同じアーキテクチャ（錬金術師）です。 B580は近代的な建築（バトルメージ）であり、さらに高速です。
ipex-llmとopenvino
Intel GPUでOllamaをスピードアップしたい場合は、今日紹介するIPEX-LLMも見つけることができます。OpenVinoツールキットを使用することもできます。より汎用的な目的はOpenVinoですが、Ollamaを使用したいので、IPEX-LLMを選びました。 IPEX-LLMはより速い速度のみを可能にし、Ollamaは特別なカスタマイズでサポートされています。
インストールして起動します
次に、必要なドライバーとランタイムをインストールしましょう。たいていインストールドキュメントそれはそのままですが、Ubuntu 24.04 LTSでは、次のコマンドを実行します。
$ sudo add-apt-repository -y ppa：kobuk-team/intel-graphics $ apt install -y libze-intel-gpu1 libze1 intel-metrics-discovery intel-opencl-icd clinfo intel-gsc $ sudo apt-apt-get-y entel-media-driver-non-free libmfme libvpl-tools libva-glx2 va-driver-all vainfo $ sudo gpasswd -a $ {user} render $ newgrp render
Ollamaのデリバティブバージョンを引き続きダウンロードします。これも書類ライティング段階の最新バージョンで述べたようにOllama-Ipex-llm-2.3.0b20250415-tgzダウンロードして展開します。コマンドは一般に次のとおりです。
$ cd（ダウンロードフォルダー）$ tar xf ollama-ipex-llm-（version）-ubuntu.tgz $ cd ollama-ipex-llm-（version）-ubuntu $。/start-ollama.sh
記事の主なポイントに基づいていないため、自動的に起動する方法は紹介しません。
ランニングとベンチマーク
残っているのは、クライアントから接続し、直接使用することだけです。第841章そして第849章最新バージョンで導入されたAlpacaのフラットパックバージョンは、Ollama実行環境を別々のパッケージに分離しました。言い換えれば、このような別のサーバーでOllamaを使用する場合、Ollamaランニング環境をインストールする必要はありません。これにより、ダウンロードと更新の時間が短縮されます。さらに、公式のオラマはIPEX-LLMまたはOpenVinoのいずれをサポートしておらず、お金の無駄にしています。それがなければ、あなたは多くの方法でリフレッシュされると感じるでしょう。
もちろんエピソード860また、この記事で紹介したVisual Studioコードを使用することもできます。ただし、記事が公開された後、UIがわずかに変更された設定に注意してください。
ここでは、フロントエンドを使用せずにコマンドラインで実行してベンチマークを測定します。ベンチマークソフトウェア（？）は、クラシックでエレガントなタイムコマンドです。
入力された実際のコマンドは次のとおりです。
$ ./OLLAMA PULL QWEN3：8B $ $ TIME ./OLLAMA RUN QWEN3：8B “頭が現れるまで偏見のないコインを投げ続けることができ、頭が賞品を受け取ると、賞品が獲得する賞品は1円です。第3ラウンドに最初のラウンドが表示される場合、4円の2倍、最初のラウンドに頭が表示された場合は、最初のラウンドがこのゲームに必要な場合は8円の2倍になります。
私の個人的な経験では、GPU RAMに大部分が含まれているモデルで動作するLLMは、知識を求めるよりも、人々に考えさせる正しい答えに近いものです。サンクトペテルブルクのパラドックス私はあなたに答えさせることにしました。
「./ollama pull qwen3：8b」はモデルをダウンロードするためのコマンドであるため、1回だけ実行してください。私がこの時間を使用しているDGPUは8GB VRAMなので、使用するモデルは約8Bでなければなりません。 IGPUを使用すると、わずかに大きなモデルを実行できます（メモリの量に応じて）。実際には14Bでも機能しました。
比較のために、公式のオラマを使用して、CPUの実行時間を測定します。テーブルにまとめられています。
12分29秒14分10秒12分54秒
7分2秒8分2秒5分56秒
2分33秒2分56秒2分26秒
CPUには特別な問題はありませんでしたが、IGPUの速度は安定していませんでした。5つの測定値の中で最も速くて遅い結果を削除した結果をリストしました。一方、DGPUの操作は不安定であり、連続して実行することは困難でした。そのため、実行するたびにUbuntu全体を再起動しました。原因は不明ですが、熱生成などのハードウェアの問題である可能性があります。
DGPUほど良くはありませんが、IGPUでさえCPUの2倍の速さであるため、おそらくIPEX-llmを試す価値があります。
ちなみに、答えはほとんど間違っていました。実際には、中国語にも答えがあるので、それが正しいか間違っているかはわかりません。これは小さなモデルの限界であり、14Bの回答は日本語のみであり、エラーは見つかりませんでした。図3正解への最も近い答えです。
図3 正解に最も近いです。これは、実行中のフォルダーからIGPUで実行された結果です。
#866thIpexllmを使用してIntelの組み込み外部GPUでOllamaをスピードアップ #gihyo.jp