| # 经过本人合成及量化的 13B plus 模型 | |
| <hr> | |
| > #### 开这个仓，主要是为了给大家讲述使用方法，这玩意儿真得自己摸索啊。 | |
| ## 更新 | |
| 1. 2023年06月10日 把 ggml 文件的版本从`ggjt v1 (pre #1405)`升级到`ggjt v3 (latest)` | |
| ### 使用方法 | |
| 移动本仓库中的 `alpaca-13b-plus` 文件夹到你项目的`./models`文件下即可。该文件夹同时适用于`llama.cpp`和`text-generation-webui`。 | |
| ### 使用体验 | |
| 效果确实比 13b 好了不少，能写出比较长的文字了，速度没有明显变化，本模型运行时需要 9.2GB 内存，未进行格式转换和量化时需要 50GB 内存，太吓人了，速度还只有十分之一。 | |
| ### 资料来源 | |
| 13b 已合并文件是从 https://huggingface.co/shibing624/chinese-alpaca-plus-13b-hf 仓库中下载的，我对其进行了格式转换与 4bit 量化。 |