metadata
model_creator: Vikhrmodels
base_model: Vikhr-7B-instruct
model_name: Vikhr-7B-instruct-GGUF
pipeline_tag: text-generation
license: apache-2.0
model_type: mistral
inference: false
prompt_template: <s>{role}\n{content}</s>\n
pretrain-datasets:
- IlyaGusev/habr
datasets:
- zjkarina/Vikhr_instruct
language:
- ru
- en
Vikhr-7B-instruct-GGUF
- Model creator: Vikhrmodels
- Original model: Vikhr-7B-instruct
Description
This repository contains quantized GGUF format model files for Vikhr-7B-instruct_merged.
Default message template:
<s>{role}\n{content}</s>\n
Default system prompt:
Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.
Example llama.cpp command
./main -m Vikhr-7B-instruct-Q4_K_M.gguf -c 32768 -n -1 -p $'<s>system\nТы — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.</s>\n<s>user\nКак тебя зовут?</s>\n<s>bot\n'
system
Ты — Вихрь, русскоязычный автоматический ассистент. Ты разговариваешь с людьми и помогаешь им.
user
Как тебя зовут?
bot
Я называю себя Вихрем! [end of text]
For other parameters and how to use them, please refer to the llama.cpp documentation