metadata
license: cc-by-nc-sa-4.0
language:
- ja
- zh
pipeline_tag: text-generation
SakuraLLM去量化模型
为什么要去量化？
llama.cpp在某些设备上受支持情况不佳，推理速度受限，我们可能希望使用pytorch进行推理，于是使用transformers库对GGUF模型进行去量化操作。
原始模型是啥
https://huggingface.co/SakuraLLM/Sakura-32B-Qwen2beta-v0.10pre1-GGUF仓库中的Q4_K_M模型
我想自己去量化
Transformers现已支持QWEN模型去量化，但是仍有一个重要的修改没有合并至主线。请查阅这个pull request了解详情
https://github.com/huggingface/transformers/pull/32551
对于其他模型，量化版本的支持，请参考这个pull request，未来可能支持大部分GGUF模型去量化
https://github.com/huggingface/transformers/pull/32625
好用吗？
使用Q4_K_M模型去量化，模型精度肯定不如F16模型，对于推理产生的结果未进行测试。
其他问题
去量化后发现tokenizer的词表发生变化，不知道是否会对使用产生影响，你可以使用QWEN1.5模型中的词表替换这部分数据。