标签: 微调

1 篇文章

一言
少年不识愁滋味,爱上层楼。爱上层楼,为赋新词强说愁。——丑奴儿·书博山道中壁
thumbnail
LoRA小结
前言:PEFT的诞生      传统的预训练-下游任务微调的范式,是对预训练模型所有参数进行微调,即全量微调。之前基于Bert、GPT1的下游微调任务都是这么干的。因为当时的预训练模型参数量比较少,所以速度并没有那么慢。…