Llama 3.2：オープンウェイトのビジョンモデルと軽量モデル

Llama 3.2とは何か

Llama 3.2は、機能の強化、適用範囲の拡大、マルチモーダルな画像サポートを特徴とする画期的な言語モデルファミリーである。このリリースには、小規模・中規模のビジョンLLM（11Bと90B）、およびエッジデバイスやモバイルデバイスに収まる軽量なテキスト専用モデル（1Bと3B）が含まれ、いずれも事前学習版と指示チューニング版の両方が提供されている。

11Bと90Bは、ビジョンタスクをサポートする最初のLlamaモデルであり、画像エンコーダの表現を言語モデルに統合する新しいモデルアーキテクチャを採用している。1Bと3Bモデルは初日からQualcommとMediaTekのハードウェアで利用可能であり、Armプロセッサ向けに最適化されている。

利用可能なサイズと変種

Llama 3.2コレクションは、エッジデバイスに適した軽量なテキスト専用の1B・3Bパラメータモデルから、高解像度画像のマルチモーダルサポートを含む高度な推論タスクをこなせる小規模・中規模の11B・90Bパラメータモデルまで、さまざまなサイズのモデルを提供している。

テキスト専用モデル（事前学習版と指示チューニング版）：

• Llama 3.2 1Bは1.23Bパラメータ、3Bは3.21Bパラメータで構成される
• いずれもBF16版と量子化版（INT4/INT8）が利用可能
• 量子化された指示チューニング版はコンテキスト長が8kに短縮されている

ビジョン言語モデル（マルチモーダル）：

• 画像理解とテキスト生成のための11Bと90Bのビジョン変種
• 11Bのベースモデルは448のタイルサイズに対応し、指示チューニング版と90Bモデルは560のタイルサイズを使用する

ハードウェア要件

推論時（テキスト専用の1B/3Bモデル）：

• 3BモデルはFP16推論に約7GBのVRAMを必要とする
• INT4に量子化すると、3Bモデルは約1.8GBのVRAMで済むため、24GBのRTX 4090に小さなバッチを載せる余裕を持って収まる
• 推奨：CUDA対応GPU（16GB以上のVRAM）、RAM：少なくとも32GB（より大きなモデルなら64GB）
• モデルと依存関係用に最低50GBの空きディスク容量

ビジョンモデル（11B/90B）の場合：

• ビジョンモデルははるかに多くのリソースを必要とするため、ローカル配備には量子化（INT4/QLoRA）が推奨される

CPU/システム：

• オペレーティングシステム：Linux（推奨）、macOS、またはWindows、Python：バージョン3.8以上、CUDA Toolkit：GPUアクセラレーションに必要（11.6以降）

ベンチマークのハイライト

思考の連鎖（chain-of-thought）プロンプトを用いたMMLUテストで、Llama 3.2 90Bは86.0を記録し、Claude 3 Haikuをわずかに上回り、GPT-4o-miniに近い成績となっている。

MMLU（5ショット）では、Llama 3.2 3Bは63.4を記録し、57.8のGemma 2B ITを上回っている。GPQA（0ショット、CoT）では、Llama 3.2 90Bは46.7を記録し、Claude 3 Haikuより優れるがGPT-4o-miniには及ばない。

IFEvalテストでは、Llama 3.2 3Bは印象的な77.4を記録し、Gemma 2B IT（61.9）やPhi-3.5-mini IT（59.2）を打ち負かしている。多言語ベンチマークMGSMでは、Llama 3.2 90Bは86.9を記録し、87.0のGPT-4o-miniに匹敵する堅実な結果となっている。

ローカルでの実行方法

Ollamaを使う場合（最も手軽な方法）：

最も人気のある3Bモデルの場合：

ollama run llama3.2:3b

1Bモデル（さらに軽量）の場合：

ollama run llama3.2:1b

代替のローカルランナー：

• LM Studio - モデル検索と管理を内蔵したGUIインターフェースを提供
• Jan - 会話用途に最適化された洗練されたインターフェース
• GPT4All - ワンクリックでモデルをダウンロードできるデスクトップアプリケーション
• Msty - プロンプトテンプレートと履歴管理を備えたフル機能クライアント

これらのアプリケーションはすべて、デフォルトのモデルカタログにLlama 3.2を含み、量子化変種を自動的に処理する。

手動セットアップ（上級者向け）：

モデルは最大9兆トークンで学習され、128kトークンの長いコンテキスト長をサポートする。Hugging Face（meta-llama/Llama-3.2-1B、meta-llama/Llama-3.2-3Bなど）からBF16または量子化された重みをダウンロードし、transformers + torch、あるいは最適化されたサービングのためのvLLMのような専用フレームワークを使用する。

最適なユースケース

テキスト専用モデル（1B/3B）：

• 要約、指示追従、書き換えタスクなど、エッジでローカルに動作するオンデバイス用途
• プロンプトの書き換え、多言語の知識検索、要約タスク、ツール利用、ローカルで動作するアシスタント
• モバイルAI搭載のライティングアシスタント
• パーソナルナレッジマネジメントシステム
• スマートフォン、タブレット、スマートデバイス上でのリアルタイム処理

ビジョンモデル（11B/90B）：

• Claude 3 Haikuのようなクローズドモデルを上回る、視覚的推論と画像理解タスク
• ドキュメント分析（チャート、グラフ、財務レポート）
• 画像キャプショニングと視覚的グラウンディング
• マルチモーダルなドキュメント理解と検索

よくある質問

Llama 3.2は商用利用できますか？

Llama 3.2は、非独占的、全世界、譲渡不可、ロイヤリティフリーの限定的なライセンスの下で付与され、使用、複製、配布、コピー、派生作品の作成、および改変が許可されている。月間アクティブユーザーが7億人を超える場合は、Metaとの別途商用契約が必要となり、料金や使用量に基づくロイヤリティが発生する可能性がある。

サポートされているコンテキスト長は？

すべてのLlama 3.2モデルは128Kのコンテキスト長をサポートし、Llama 3.1で導入された拡張トークン容量を維持している。量子化された指示チューニング版はコンテキスト長が8kに短縮されている点に注意されたい。

自分のデバイスにはどのモデルサイズを選べばよいですか？

RTX 4090のようなコンシューマー向けGPUでの推論では、3BモデルはFP16で7GBを必要とするが、INT4に量子化するとわずか1.8GBで済む。スマートフォンやエッジでの最大限の携帯性を求めるなら1Bを選び、2GB以上が利用可能でより高い品質を求めるなら3Bを選ぶとよい。8GB以上のVRAMを持つデスクトップでは、フル精度の3Bまたは量子化された11Bビジョンモデルを使用する。

マルチモーダルモデルには制限がありますか？

マルチモーダルモデルに関して、欧州連合に居住する個人、または主たる事業所を欧州連合に置く企業である場合、Llama 3.2コミュニティライセンス契約の下で付与される権利は与えられない。この制限は、これらのマルチモーダルモデルを組み込んだ製品やサービスのエンドユーザーには適用されない。