Commit
•
403cc63
1
Parent(s):
321524b
Update README.md
Browse files
README.md
CHANGED
|
@@ -18,7 +18,7 @@ license: other
|
|
| 18 |
## 介绍/Introduction
|
| 19 |
YAYI 2 是中科闻歌研发的开源大语言模型，包括 Base 和 Chat 版本，参数规模为 30B。YAYI2-30B 是基于 Transformer 的大语言模型，采用了 2.65 万亿 Tokens 的高质量、多语言语料进行预训练。针对通用和特定领域的应用场景，我们采用了百万级指令进行微调，同时借助人类反馈强化学习方法，以更好地使模型与人类价值观对齐。本次开源的模型为 YAYI2-30B Base 模型。
|
| 20 |
|
| 21 |
-
如果您想了解更多关于 YAYI 2 模型的细节，我们建议您参阅 [GitHub](https://github.com/wenge-research/YAYI2)
|
| 22 |
|
| 23 |
|
| 24 |
|
|
@@ -29,10 +29,13 @@ For more details about the YAYI 2, please refer to our GitHub repository. Stay t
|
|
| 29 |
|
| 30 |
## 模型细节/Model
|
| 31 |
|
| 32 |
-
|
|
| 33 |
-
|
| 34 |
-
|
|
| 35 |
-
|
|
|
|
|
|
|
|
|
|
| 36 |
|
| 37 |
|
| 38 |
|
|
|
|
| 18 |
## 介绍/Introduction
|
| 19 |
YAYI 2 是中科闻歌研发的开源大语言模型，包括 Base 和 Chat 版本，参数规模为 30B。YAYI2-30B 是基于 Transformer 的大语言模型，采用了 2.65 万亿 Tokens 的高质量、多语言语料进行预训练。针对通用和特定领域的应用场景，我们采用了百万级指令进行微调，同时借助人类反馈强化学习方法，以更好地使模型与人类价值观对齐。本次开源的模型为 YAYI2-30B Base 模型。
|
| 20 |
|
| 21 |
+
如果您想了解更多关于 YAYI 2 模型的细节，我们建议您参阅 [GitHub](https://github.com/wenge-research/YAYI2) 仓库。更多技术细节，敬请期待我们的技术报告🔥。
|
| 22 |
|
| 23 |
|
| 24 |
|
|
|
|
| 29 |
|
| 30 |
## 模型细节/Model
|
| 31 |
|
| 32 |
+
| Hyperparameter| Value |
|
| 33 |
+
|:----------|:----------:|
|
| 34 |
+
| n_layers | 64 |
|
| 35 |
+
| n_heads | 64 |
|
| 36 |
+
| d_model | 16384 |
|
| 37 |
+
| vocab size | 81920 |
|
| 38 |
+
| sequence length | 4096 |
|
| 39 |
|
| 40 |
|
| 41 |
|