해당 모델을 돌리려면 Vram이 얼마정도 필요한가요?
#3
by
jmmoon
- opened
안녕하세요
해당 모델을 돌리려면 Vram이 얼마정도 필요한지 궁금하여 문의 드립니다.
어떤 그래픽카드를 써야 원활하게 구동이 가능할지 알 수 있을까요?
모델용량만큼 먹습니다 8B는 메인스트림급만해도 충분히돌립니다.
아 그럼 모델 용량이 17기가 정도 되니까 vram도 17기가 이상 되면 되는것인가요?
네 그게 권장사항이고, VRAM부족해도 돌려지긴하는데 순차적으로 적재하면서 실행하다보니 많이 느려집니다.
양자화로 용량을 줄이는것도 방법입니다.
멀티모달 모델이라 vram이 더 필요할 줄 알았는데 그런건 아닌가보네요
- 예시코드로는 VRAM이 부족해서 에러가 났었는데 원래는 vram이 부족해도 돌아가긴 하나보군요
일단 gguf 변환부터 시도해봐야겠습니다. 감사합니다
안녕하세요.
서울과학기술대학교 MLP Lab 임현석 연구원입니다.
못 본 사이 서로 좋은 의견을 달아주셔서 감사합니다!
모델 자체만 vram에 올리면 fury3698님 말씀대로 17GB정도 활용됩니다.
추가적으로 이미지와 텍스트를 GPU를 활용하여 추론을 돌리기 때문에 조금의 vram이 더 활용되긴 합니다.
gguf로 양자화 모델로 변환하여 모델을 활용하는 것도 좋은 방안입니다! 더 궁금한 점이 있으시면 언제든 Discussion 달아주세요.
안녕하세요
서울과학기술대학교 MLP Lab 신동재 연구원입니다.
저희 모델에 많은 관심을 가져주시고 활발히 의견을 나눠주셔서 감사합니다.
추후 궁금한 사항이 있으시면 편하게 질문해주시고
양자화 모델과 Adavanced 모델도 빠른시일내 릴리즈 예정이니 많은 관심 부탁드립니다.
오~~ 양자화 모델 기대됩니다. 응원합니다.