关于chatglm2-6b进行P-tuning v2出现效果不佳情况的一个记录或讨论
#74
by
LittleGreen
- opened
在对chatglm2-6b进行P-tuning v2后出现了模型无法回答问题的情况，所使用的数据集只包含了数量小于100个的样本，在训练后哪怕50steps记录的参数也无法正确回答问题；同样的数据集，应用在了chatglm2-6b-32k中，在P-tuning v2处理后能够正确回答相应的问题。