README.md

经过本人合成及量化的 7B/13B 模型

---

开这个仓，主要是为了给大家讲述使用方法，这玩意儿真得自己摸索啊。

直接使用方法

移动本仓库中的llama-7b-hf和llama-13b-hf两个文件夹，到你项目的./models文件下即可。该文件夹同时适用于llama.cpp和text-generation-webui。

DIY 使用方法

以 7B 为例：

1. 在 models 文件下新建名为llama-7b-hf的文件夹，注意，此名字不可以随意修改
2. llama-7b-hf下只需要有两个文件：config.json和ggml-model-q4_0.bin
3. config.json大家可以到基础库里面下载
4. ggml-model-q4_0.bin就是你按照教程合成出来的最终文件

资料来源

7b 为我自己合成，13b 是从 https://huggingface.co/minlik/chinese-alpaca-13b-quantized 仓库里下载的。