Initial version of README
Browse files
README.md
CHANGED
@@ -1,3 +1,37 @@
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
+
datasets:
|
4 |
+
- Vikhrmodels/GrandMaster-PRO-MAX
|
5 |
+
- Vikhrmodels/Grounded-RAG-RU-v2
|
6 |
+
language:
|
7 |
+
- en
|
8 |
+
- ru
|
9 |
+
base_model:
|
10 |
+
- mistralai/Mistral-Nemo-Instruct-2407
|
11 |
+
---
|
12 |
+
|
13 |
+
## Vikhr-Nemo-12B-Instruct-R-21-09-24
|
14 |
+
|
15 |
+
### Описание
|
16 |
+
|
17 |
+
**Vikhr-Nemo** - это наша фалгманская умнимодальная LLM (Large Language Model) представляющая из себя улучшенную версию [mistralai/Mistral-Nemo-Instruct-2407](https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407) командой **VikhrModels**, адаптированную преимущественно для русского и английского языков. Для ее обучения мы использовали несколько этапов включаюзих в себя **SFT** и **SMPO** - нашу собственную вариацию DPO, подробнее читайте в секции *"Как эта модель создавалась"*.
|
18 |
+
|
19 |
+
Модель оптимизированна для различных вариантов использования, включая рассуждения, обобщение и ответы на вопросы. Vikhr-Nemo обладает возможностью многоязычной генерации, и высокопроизводительными возможностями RAG. Модель иммет лучшие оценки среди прочих на наших инструктивных и RAG бенчарках и, поэтому, мы верим, что в некоторыых случаях может использоваться как локальная замена для gpt-4o-mini от OpenAI.
|
20 |
+
|
21 |
+
Весь использованный код для обучения выложен в нашем репозитории [effective_llm_alignment](https://github.com/VikhrModels/leffective_llm_alignment/) на GitHub, а основаные датасеты дсотупны в нашем [профиле на HF](https://huggingface.co/Vikhrmodels).
|
22 |
+
|
23 |
+
### Особенности
|
24 |
+
1. Высокое качество генераций на русском и английском языках, а также некоторых других языках, благодаря датасету Grandmaster-PRO-MAX и исходной модели.
|
25 |
+
2. Поддержка системных промптов для регулриования стиля ответов
|
26 |
+
3. Поддержка до 128k токенов контекста благодаря исходной модели
|
27 |
+
4. Grounded RAG режим - модель имеет специальную роль documents и специальный режим работы для поиска идентификаторов релевантных вопросу пользователя документов и использования их для ответа на вопрос, вдохновлено аналогичной способность модели Command-R
|
28 |
+
|
29 |
+
### Метрики и оценка качества
|
30 |
+
|
31 |
+
### Как эта модель создавалась
|
32 |
+
|
33 |
+
### Как работать с RAG
|
34 |
+
|
35 |
+
### Нюансы и ограничения
|
36 |
+
|
37 |
+
### Авторы
|