Update README.md
Browse files
README.md
CHANGED
|
@@ -1,11 +1,13 @@
|
|
| 1 |
-
---
|
| 2 |
-
language:
|
| 3 |
-
- ru
|
| 4 |
-
---
|
| 5 |
## Инструктивный вихрь 5.4
|
| 6 |
|
| 7 |
Базоый Вихрь 5той версии (мистраль) обученный на переведенном инстракте, улучшенный с помощью [ORPO](https://argilla.io/blog/mantisnlp-rlhf-part-8/) на нашем внутреннем датасете.
|
| 8 |
|
|
|
|
|
|
|
| 9 |
### Использование через transformers
|
| 10 |
|
| 11 |
```python
|
|
@@ -52,8 +54,6 @@ print(answer)
|
|
| 52 |
`python -m vllm.entrypoints.openai.api_server --model Vikhrmodels/it-5.4-fp16-orpo-v2 --dtype half --api-key token-abc123 -tp 1`
|
| 53 |
|
| 54 |
```python
|
| 55 |
-
temperature = 0.0
|
| 56 |
-
|
| 57 |
llm_model = "Vikhrmodels/it-5.4-fp16-orpo-v2"
|
| 58 |
llm_client = openai.OpenAI(
|
| 59 |
base_url="http://localhost:8000/v1",
|
|
@@ -64,7 +64,7 @@ def make_completion(history, client, model):
|
|
| 64 |
completion = client.chat.completions.create(
|
| 65 |
model=model,
|
| 66 |
messages=history,
|
| 67 |
-
temperature=
|
| 68 |
max_tokens=2048,
|
| 69 |
stop=["</s>", "<eos>", "<|eot_id|>", "<|im_end|>"]
|
| 70 |
)
|
|
|
|
| 1 |
+
---
|
| 2 |
+
language:
|
| 3 |
+
- ru
|
| 4 |
+
---
|
| 5 |
## Инструктивный вихрь 5.4
|
| 6 |
|
| 7 |
Базоый Вихрь 5той версии (мистраль) обученный на переведенном инстракте, улучшенный с помощью [ORPO](https://argilla.io/blog/mantisnlp-rlhf-part-8/) на нашем внутреннем датасете.
|
| 8 |
|
| 9 |
+
Модель имеет довольно высокое разннобразие ответов, поэтому рекомендуется использовать temperature в рендже [0.1, 0.4].
|
| 10 |
+
|
| 11 |
### Использование через transformers
|
| 12 |
|
| 13 |
```python
|
|
|
|
| 54 |
`python -m vllm.entrypoints.openai.api_server --model Vikhrmodels/it-5.4-fp16-orpo-v2 --dtype half --api-key token-abc123 -tp 1`
|
| 55 |
|
| 56 |
```python
|
|
|
|
|
|
|
| 57 |
llm_model = "Vikhrmodels/it-5.4-fp16-orpo-v2"
|
| 58 |
llm_client = openai.OpenAI(
|
| 59 |
base_url="http://localhost:8000/v1",
|
|
|
|
| 64 |
completion = client.chat.completions.create(
|
| 65 |
model=model,
|
| 66 |
messages=history,
|
| 67 |
+
temperature=0.3,
|
| 68 |
max_tokens=2048,
|
| 69 |
stop=["</s>", "<eos>", "<|eot_id|>", "<|im_end|>"]
|
| 70 |
)
|