How do I fine tune this LoRA model?
Hey!
This model files only contain the adapter weights. I would like to fine tune it on my custom dataset without the need to re-train it from plain llama-7b, in order to save training time. Can you please give me a hint on how to do that? Do I need first to start the combined model (llama + adapter), then export it and use it as a base for my training?
Thanks a lot for the best Russian LLM, by the way! It's so much better than Vicuna.
Да согласен с оратором, модель пока самая лучшая! Я пробовал мерджить датасат сайги со своим датасетом и потом обучать. Работает. Получилось даже немного заучить некоторые вопросы , что бы модель выдавала похожие ответы на похожие вопросы
@Viking78SPB о, привет землякам :) Вы не пробовали выгрузить веса полной модели и тренировать только свой датасет?
Do I need first to start the combined model (llama + adapter), then export it and use it as a base for my training?
Ну да, нужно просто сделать model = model.merge_and_unload() загруженной PeftModel, и потом save_pretrained. Это сольёт адаптеры с базовой моделью, и поверх этого можно что угодно учить.
#Ильяспасибо!!!
Антон здравствуйте, пробовал, мне не понравилось :) но я нуб только месяц как в это гачал погружаться, лучше экспериментировать побольше. Надо фан клуб Сайга открыть!!!
Илья, я не помню а в rulm есть образец инструкции для дата сета для файн тюнинга?
@IlyaGusev огромное спасибо!
Илья, я не помню а в rulm есть образец инструкции для дата сета для файн тюнинга?
Есть скрипт, которым текущий сет собирается, https://github.com/IlyaGusev/rulm/blob/master/self_instruct/src/data_processing/create_chat_set.py