9 意図に絞ったら 38MB で足りた — 30M のモデルをゼロから学習した実測
この記事で分かること
意図に絞った学習により38MBで足りるモデルを、30Mパラメータからゼロ学習した実測結果が得られる。モデルサイズを極限まで削減するためのデータ選定や学習手法の具体的な数値と手順を参考にできる。
詳細要約
少量のデータでも高精度なモデルを学習できることを示し、データ量よりデータの質と意図の絞り込みが重要である。具体的には、30Mパラメータのモデルをゼロから学習する際、全データを使わず「意図に絞った」9のデータセットで38MBのデータ量で十分に機能した実測結果が得られた。この結果から、学習データを選別する際は、対象タスクに直接関連するデータのみに絞り込むことで、データ量を大幅に削減しつつ性能を維持できる可能性が高い。