ローカルLLM study1-a: gemma4:e2b/e4bのMLX版はどれだけ速いか
この記事で分かること
Gemma 4のe2b/e4bモデルをMLX版で実行した際の速度比較結果が得られる。ローカルLLMの推論速度に焦点を当て、どの程度の実用性があるかを検証している。具体的なベンチマーク数値や環境設定が記事の中心。
詳細要約
ローカルLLM「gemma4」のMLX版（e2b/e4b）は、Apple Silicon搭載Macで従来のCPU実行より大幅に高速化される。実際の利用では、モデルサイズが小さいe2b版がメモリ消費を抑えつつ応答速度を優先する場面に適し、e4b版はより高精度な出力が必要なタスクで選択する。速度比較の判断材料として、推論時のトークン生成速度（tokens/秒）を計測し、自分の環境と用途に合ったバージョンを選ぶとよい。