RefalMachine
commited on
Commit
•
fac9657
1
Parent(s):
ec34b94
Update README.md
Browse files
README.md
CHANGED
@@ -12,9 +12,11 @@ base_model:
|
|
12 |
|
13 |
## Model description
|
14 |
|
15 |
-
|
16 |
|
17 |
-
|
|
|
|
|
18 |
|
19 |
## Метрики и оценка качества
|
20 |
|
|
|
12 |
|
13 |
## Model description
|
14 |
|
15 |
+
Инструктивная версия адаптированного на русский язык Qwen2.5-3B (RefalMachine/ruadapt_qwen2.5_3B_ext_u48_full_lr5e4_peft_mlp_32_32_bs256). В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
16 |
|
17 |
+
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-3B-Instruct.
|
18 |
+
|
19 |
+
Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду.
|
20 |
|
21 |
## Метрики и оценка качества
|
22 |
|