Системные требования модели
Здравствуйте! Подскажите, пожалуйста, какие требования к железу чтобы эту модель можно было запустить и использовать? Сколько оперативной памяти, какую видеокарту (если нужно) нужно? Пробовал запустить её в колабе, но тот падает из-за того что 12гигов оперативы не хватает.
Запускаю на rtx4090 оперативы 64, если колаб бесплатный эту модель не запустишь ибо хоть она и half но сама по себе весит 25 гб (речь о 16 битной версии а не об этой, фулл версии, её вы вообще не запустите никак и нигде, если у вас конечно не парочка A100 c 80 гб врам). в бесплатном колабе пишут это забор, там максимум 16 гб карты даются на халяву. Но хочу вас разочаровать, модель обучена на каком то кале, и получить что то более менее связное или продуктивное врядли получится без хорошего фан тюнинга, который вы сами, как домашний пользователь, врядли проведёте с этой XL моделью, так что путь только один, поискать другие варианты, как пример может быть гпт-2, хотя бы ларж модель. это не 13 лярдов ну а 700+ лимонов но там шанс у вас есть)