Lora和RLHF训练的代码开源了吗
#14
by
tenghg
- opened
我想学习一下
300 开
load peft model时can't find adaptor_config.json如何解决
300心开源
目录未设置对啊,单独下载压缩包解压后使用
我用AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", cache_dir="模型目录", trust_remote_code=True).cuda(),
未能把模型加载到gpu上,似乎.cuda()不起效果。但是使用device_map参数
AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", cache_dir="模型目录", trust_remote_code=True, device_map="auto")
就可以加载到gpu,这是什么原因
加载方式和glm一样,能用就行
快300了,该开就开一下吧,等好久了
确实 黄花菜都凉了
我已经很久没有训练了,哥们还惦记啊,现在新模型这么多,训练意义不大了啊