Mac mini M4 Pro / M4 Max でローカル LLM を動かす：VRAM 早見表と GGUF 量子化の選び方
この記事で分かること
Mac mini M4 Pro/M4 MaxでローカルLLMを動かすためのVRAM早見表とGGUF量子化の選び方が得られる。具体的なモデルごとのVRAM消費量と、量子化レベルの選択基準が分かる。
詳細要約
Mac mini M4 Pro/M4 MaxでローカルLLMを運用する際、VRAM容量に応じた適切なGGUF量子化モデルを選ぶことが、速度と品質のバランスを最適化する鍵となる。実際の選択では、まず搭載VRAM（例：M4 Proは24GB、M4 Maxは最大128GB）を確認し、その80%程度を目安に収まる量子化レベル（Q4_K_MやQ5_K_Mなど）を選ぶと安定動作しやすい。また、モデルサイズがVRAMを超える場合は、レイヤー数を減らすか、より低ビットの量子化（Q2_KやQ3_K）を検討する必要がある。