안녕하세요, 혹시 모델이 fbgemm 8bit로 양자화가 되어있는데, 이걸 4bit 양자화해서 쓸 수 있는 방법이 있습니까? 아무리 시도해봐도 안 됩니다.
현재 모델은 fbgemm 8bit로 양자화된 모델이라 이 모델을 이용해 4bit 양자화를 하기 어려울 것 같습니다.
4bit 양자화 모델은 추후 공개될 예정입니다.
답변 정말 감사드립니다!!!
그렇다면 혹시 4bit 양자화 모델 공개 예정일 알 수 있을까요?
· Sign up or log in to comment
