1741787222
2025-03-12 07:48:00
このモデルには、Ollama 0.6以降が必要です。 オラマをダウンロードしてください
Gemmaは、Gemini Technologyに基づいて構築されたGoogleの軽量のモデルファミリーです。 Gemma 3モデルは、テキストと画像を処理するマルチモーダルであり、140を超える言語をサポートする128Kコンテキストウィンドウを備えています。 1B、4B、12B、および27Bのパラメーターサイズで利用でき、質問の回答、要約、推論などのタスクに優れていますが、コンパクトなデザインではリソース制限デバイスに展開できます。
モデル
文章
1Bパラメーターモデル （32Kコンテキストウィンドウ）
ollama run gemma3:1b
マルチモーダル（ビジョン）
4bパラメーターモデル （128Kコンテキストウィンドウ）
ollama run gemma3:4b
12bパラメーターモデル （128Kコンテキストウィンドウ）
ollama run gemma3:12b
27bパラメーターモデル （128Kコンテキストウィンドウ）
ollama run gemma3:27b
評価
ベンチマークの結果
これらのモデルは、テキスト生成のさまざまな側面をカバーするために、さまざまなデータセットとメトリックの大規模なコレクションに対して評価されました。
推論、ロジック、コード機能
| ベンチマーク | メトリック | Gemma 3 pt 1b | Gemma 3 pt 4b | Gemma 3 pt 12b | Gemma 3 pt 27b |
|---|---|---|---|---|---|
| Hellaswag | 10ショット | 62.3 | 77.2 | 84.2 | 85.6 |
| ブールク | 0ショット | 63.2 | 72.3 | 78.8 | 82.4 |
| ピカ | 0ショット | 73.8 | 79.6 | 81.8 | 83.3 |
| Socialiqa | 0ショット | 48.9 | 51.9 | 53.4 | 54.9 |
| Triviaqa | 5ショット | 39.8 | 65.8 | 78.2 | 85.5 |
| 自然な質問 | 5ショット | 9.48 | 20.0 | 31.4 | 36.1 |
| ARC-C | 25ショット | 38.4 | 56.2 | 68.9 | 70.6 |
| arc-e | 0ショット | 73.0 | 82.4 | 88.3 | 89.0 |
| ウィノグランデ | 5ショット | 58.2 | 64.7 | 74.3 | 78.8 |
| ビッグベンチハード | 28.4 | 50.9 | 72.6 | 77.7 | |
| 落とす | 3ショット、F1 | 42.4 | 60.1 | 72.2 | 77.2 |
| アギーバル | 3-5ショット | 22.2 | 42.1 | 57.4 | 66.2 |
| mmlu | 5ショット、トップ1 | 26.5 | 59.6 | 74.5 | 78.6 |
| 数学 | 4ショット | – | 24.2 | 43.3 | 50.0 |
| GSM8K | 5ショット、5月@1 | 1.36 | 38.4 | 71.0 | 82.6 |
| gpqu | 9.38 | 15.0 | 25.4 | 24.3 | |
| mmlu （プロ） | 5ショット | 11.2 | 23.7 | 40.8 | 43.9 |
| MBPP | 3ショット | 9.80 | 46.0 | 60.4 | 65.6 |
| 人間 | パス@1 | 6.10 | 36.0 | 45.7 | 48.8 |
| mmlu （プロコット） | 5ショット | 9.7 | の中へ | の中へ | の中へ |
多言語機能
| ベンチマーク | Gemma 3 pt 1b | Gemma 3 pt 4b | Gemma 3 pt 12b | Gemma 3 pt 27b |
|---|---|---|---|---|
| MGSM | 2.04 | 34.7 | 64.3 | 74.3 |
| Global-MMLU-Lite | 24.9 | 57.0 | 69.4 | 75.7 |
| 素晴らしい | 26.6 | 59.4 | 78.0 | – |
| WMT24 ++ （CRF） | 36.7 | 48.4 | 53.9 | 55.7 |
| フローレス | 29.5 | 39.2 | 46.0 | 48.8 |
| xl-sum | 4.82 | 8.55 | 12.2 | 14.9 |
| XQUAD （全て） | 43.9 | 68.0 | 74.5 | 76.8 |
マルチモーダル機能
#gemma3