14Bが4Bに負けた——16GBのGPU一枚で測った、蒸留の用量反応の全記録
この記事で分かること
1枚の16GB GPU上で蒸留モデルを比較し、モデル規模の大きさが常に勝つわけではなく、蒸留条件下では小規模モデルが逆転することを実測データから確認できる。蒸留データ量や学習条件の違いによる性能変化を把握でき、手持ちGPUで使うモデル選定の判断材料になる。
詳細要約
蒸留条件の強弱で性能が非単調に変化し、小規模モデルが大規模モデルを上回る逆転現象を実測した記録だ。16GB GPU一枚という限られた環境で蒸留量を段階的に変えて比較しており、モデル選定時にパラメータ数だけで判断せず蒸留設定を変えて試す手順が参考になる。