update readme
Browse files
README.md
CHANGED
|
@@ -6,9 +6,9 @@ tags:
|
|
| 6 |
- glm
|
| 7 |
- chatglm-slim
|
| 8 |
---
|
| 9 |
-
# ChatGLM-6B-Slim
|
| 10 |
## 介绍
|
| 11 |
-
ChatGLM-6B-Slim是在ChatGLM-6B的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 12 |
|
| 13 |
除了词表外，ChatGLM-6B-Slim的其他结构与ChatGLM-6B完全一致，性能也完全一样，可以认为是ChatGLM-6B的一个低显存版等价平替。
|
| 14 |
|
|
|
|
| 6 |
- glm
|
| 7 |
- chatglm-slim
|
| 8 |
---
|
| 9 |
+
# ChatGLM-6B-Slim: 低显存版ChatGLM-6B
|
| 10 |
## 介绍
|
| 11 |
+
ChatGLM-6B-Slim是在[ChatGLM-6B](https://huggingface.co/THUDM/chatglm-6b)的基础上通过裁剪词表构建的。因为ChatGLM-6B使用了icetk，在其词表中，前20000个token是预留给图片的，在文本模型中没有用到这些图片token，但是在infer和微调的时候，这些token对应的embedding依然需要被加载，并且在解码每一个token的时候需要多计算20K个logits，会占用不少显存。因此将这一部分token裁剪掉以节省显存。
|
| 12 |
|
| 13 |
除了词表外，ChatGLM-6B-Slim的其他结构与ChatGLM-6B完全一致，性能也完全一样，可以认为是ChatGLM-6B的一个低显存版等价平替。
|
| 14 |
|