🚀ローカル LLM 選び、もう「VRAM に入る一番デカいやつ」で決めるの卒業しよ？ - whichllm を RTX 4060 Ti 16GB で測ってみた - Qiita
この記事で分かること
ローカルLLMの選定基準をVRAM容量だけで決めるのではなく、whichllmというベンチマークツールを使って実測値で比較する方法が得られる。RTX 4060 Ti 16GBという具体的なGPU環境で、各モデルの推論速度や精度を測定した結果を基に、用途に応じたモデル選びの判断材料を提供している。
詳細要約
VRAM容量だけでモデルを選ぶのは非効率で、実際の用途に応じた性能指標で比較すべき。whichllmを使い、RTX 4060 Ti 16GB環境で測定した結果、同じVRAMでもモデルや量子化方式によって推論速度や精度が大きく異なる。選定時は、VRAM容量に加えて、トークン生成速度（t/s）と応答品質のバランスを確認することが重要。