Update README.md
Browse files
README.md
CHANGED
|
@@ -19,5 +19,5 @@ pipeline_tag: text-generation
|
|
| 19 |
- 英文維基百科(20230601)
|
| 20 |
|
| 21 |
## Tokenizer
|
| 22 |
-
|
| 23 |
> https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki
|
|
|
|
| 19 |
- 英文維基百科(20230601)
|
| 20 |
|
| 21 |
## Tokenizer
|
| 22 |
+
使用重新在中英文語料上訓練的 BPE Tokenizer，擁有較佳的分詞效果與邊解碼效率。
|
| 23 |
> https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki
|