shibing624
commited on
Commit
•
29f96e8
1
Parent(s):
3056dea
Update README.md
Browse files
README.md
CHANGED
@@ -117,7 +117,7 @@ release合并后的模型权重,一步到位直接使用,省电、减少碳
|
|
117 |
底座模型 合并 [ziqingyang/chinese-llama-plus-lora-13b](https://huggingface.co/ziqingyang/chinese-llama-plus-lora-13b) 和 [ziqingyang/chinese-alpaca-plus-lora-13b](https://huggingface.co/ziqingyang/chinese-alpaca-plus-lora-13b) 两个LoRA权重 得到,并转化为HuggingFace版本权重(.bin文件)。
|
118 |
|
119 |
HuggingFace版本权重(.bin文件)可用于:
|
120 |
-
- 使用Transformers
|
121 |
- 使用text-generation-webui搭建界面
|
122 |
|
123 |
PyTorch版本权重(.pth文件)可用于:
|
@@ -143,16 +143,17 @@ chinese-alpaca-plus-13b-hf
|
|
143 |
|
144 |
硬件要求:25G显存
|
145 |
|
146 |
-
###
|
|
|
147 |
|
148 |
1. 50万条中文ChatGPT指令Belle数据集:[BelleGroup/train_0.5M_CN](https://huggingface.co/datasets/BelleGroup/train_0.5M_CN)
|
149 |
2. 100万条中文ChatGPT指令Belle数据集:[BelleGroup/train_1M_CN](https://huggingface.co/datasets/BelleGroup/train_1M_CN)
|
150 |
3. 5万条英文ChatGPT指令Alpaca数据集:[50k English Stanford Alpaca dataset](https://github.com/tatsu-lab/stanford_alpaca#data-release)
|
151 |
-
4. 2万条中文
|
152 |
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条):[Chinese-Vicuna/guanaco_belle_merge_v1.0](https://huggingface.co/datasets/Chinese-Vicuna/guanaco_belle_merge_v1.0)
|
153 |
|
154 |
|
155 |
-
如果需要训练
|
156 |
|
157 |
|
158 |
## Citation
|
|
|
117 |
底座模型 合并 [ziqingyang/chinese-llama-plus-lora-13b](https://huggingface.co/ziqingyang/chinese-llama-plus-lora-13b) 和 [ziqingyang/chinese-alpaca-plus-lora-13b](https://huggingface.co/ziqingyang/chinese-alpaca-plus-lora-13b) 两个LoRA权重 得到,并转化为HuggingFace版本权重(.bin文件)。
|
118 |
|
119 |
HuggingFace版本权重(.bin文件)可用于:
|
120 |
+
- 使用Transformers进行训练和推理
|
121 |
- 使用text-generation-webui搭建界面
|
122 |
|
123 |
PyTorch版本权重(.pth文件)可用于:
|
|
|
143 |
|
144 |
硬件要求:25G显存
|
145 |
|
146 |
+
### 微调数据集
|
147 |
+
我整理部分公开微调数据集:
|
148 |
|
149 |
1. 50万条中文ChatGPT指令Belle数据集:[BelleGroup/train_0.5M_CN](https://huggingface.co/datasets/BelleGroup/train_0.5M_CN)
|
150 |
2. 100万条中文ChatGPT指令Belle数据集:[BelleGroup/train_1M_CN](https://huggingface.co/datasets/BelleGroup/train_1M_CN)
|
151 |
3. 5万条英文ChatGPT指令Alpaca数据集:[50k English Stanford Alpaca dataset](https://github.com/tatsu-lab/stanford_alpaca#data-release)
|
152 |
+
4. 2万条中文GPT4指令Alpaca数据集:[shibing624/alpaca-zh](https://huggingface.co/datasets/shibing624/alpaca-zh)
|
153 |
5. 69万条中文指令Guanaco数据集(Belle50万条+Guanaco19万条):[Chinese-Vicuna/guanaco_belle_merge_v1.0](https://huggingface.co/datasets/Chinese-Vicuna/guanaco_belle_merge_v1.0)
|
154 |
|
155 |
|
156 |
+
如果需要训练LLaMA模型,请参考[https://github.com/shibing624/textgen](https://github.com/shibing624/textgen)
|
157 |
|
158 |
|
159 |
## Citation
|