GPU使用率100%なのに生成が進まない。単一GPUにvLLMと推論サービスを同居させてハマった話
この記事で分かること
単一GPUでvLLMと推論サービスを同居させた際に、GPU使用率100%でも生成が進まない原因と対策が分かる。具体的には、メモリ競合やスケジューリング設定の調整方法、リソース分割のベストプラクティスが得られる。
詳細要約
GPU使用率が100%でも生成が進まない原因は、vLLMと推論サービスが同一GPU上でメモリ帯域を奪い合い、処理が停滞する点にある。回避策として、vLLMの`--num-scheduler-steps`を増やしてスケジューラの頻度を下げるか、推論サービスを別GPUに分離する構成を検討する。また、`nvidia-smi`でGPUメモリ使用量だけでなく、メモリ帯域幅の利用率も確認することがトラブルシュートの判断材料となる。