Create README.md

README.md

@@ -0,0 +1,85 @@
+---
+license: other
+datasets:
+- anon8231489123/ShareGPT_Vicuna_unfiltered
+- PengQu/langchain-MRKL-finetune
+language:
+- zh
+- en
+---
+# Llama-2-7b-vicuna-Chinese
+
+Llama-2-7b-vicuna-Chinese是在中英双语sharegpt数据上全参数微调的对话模型。
+
+- 基座模型：[meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf) 允许商业使用。
+- 微调数据：ShareGPT，ShareGPT-ZH，Langchain-MRKL-finetune
+- 训练代码：基于[FastChat](https://github.com/lm-sys/FastChat)
+
+Llama-2-7b-vicuna-Chinese is a chat model supervised finetuned on vicuna sharegpt data in both **English** and **Chinese**.
+
+- Foundation model: [meta-llama/Llama-2-7b-hf](https://huggingface.co/meta-llama/Llama-2-7b-hf), a **commercially available** language model.
+- Finetuning data: ShareGPT，ShareGPT-ZH，Langchain-MRKL-finetune
+- Training code: based on [FastChat](https://github.com/lm-sys/FastChat)
+
+## Loading the Weights with Hugging Face Transformers
+See the following example for usage.
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+tokenizer = AutoTokenizer.from_pretrained("PengQu/Llama-2-7b-vicuna-Chinese",use_fast=False)
+model = AutoModelForCausalLM.from_pretrained("PengQu/Llama-2-7b-vicuna-Chinese").to("cuda")
+
+instruction = "A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {} ASSISTANT:"
+prompt = instruction.format('用flask写一个简单的http服务器。')
+input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to("cuda")
+
+generation_output = model.generate(input_ids=input_ids, max_new_tokens=512)
+print(tokenizer.decode(generation_output[0],skip_special_tokens=True))
+```
+
+输出如下（output as follows）：<br>
+```
+要使 用Flask创建一个简单的HTTP服务器，您需要在终端中运行以下命令：
+
+pip install Flask
+
+这将安装Flask包并准备您使用它。
+以下是一个简单的Flask应用程序，它侦听端口5000并响应“Hello, World!”消息：
+
+from flask import Flask
+app = Flask(__name__)
+@app.route('/')
+def hello():
+    return 'Hello, World!'
+if __name__ == '__main__':
+    app.run(debug=True)
+
+要运行此应用程序，您可以将代码保存到名为`app.py`的文件中，然后在终端中运行以下命令：
+
+python app.py
+
+这将启动Flask服务器，并且您应该能够通过在Web浏览器中访问`http://localhost:5000`来访问“Hello, World!”消息。
+您还可以使用Flask的路由功能为不同的URL定义不同的端点。例如，您可以定义一个路由，在端口8080上侦听，并响应“Hello, Flask!”消息：
+
+from flask import Flask
+app = Flask(__name__)
+@app.route('/')
+def hello():
+    return 'Hello, Flask!'
+if __name__ == '__main__':
+    app.run(debug=True, host='localhost', port=8080)
+
+要运行此应用程序，您可以将代码保存到名为`app.py`的文件中，然后在终端中运行以下命令：
+
+python app.py
+
+```
+## Major Improvement：Llama-2-7b-vicuna-Chinese's Chinese and English abilities are better than llama2 and vicuna.
+- 英语能力基础评测（MMLU）： Llama-2-7b-vicuna-Chinese（48.8） > Llama-2-7b（45.3） > vicuna1.1（44.8）
+- 中文能力基础评测（C-Eval）：  Llama-2-7b-vicuna-Chinese（34.7） > Llama-2-7b-chat（30.3）= vicuna1.1（30.3）
+- 实测效果：不会出现Llama2-chat的过于谨慎的状况
+<br>
+- English Eval results（MMLU）： Llama-2-7b-vicuna-Chinese（48.8） > Llama-2-7b（45.3） > vicuna1.1（44.8）
+- Chinese Eval results（C-Eval）：  Llama-2-7b-vicuna-Chinese（34.7） > Llama-2-7b-chat（30.3）= vicuna1.1（30.3）
+- Empirical Results: It will not be overly cautious like Llama2-chat.