Update README.md

README.md

@@ -91,29 +91,39 @@ dtype: bfloat16
 random_seed: 0
 ```
 
-## 💻 Usage
+## 💻 Usage (fast vLLM inference example)
 
 ```python
-!pip install -qU transformers accelerate
+!pip install -qU vllm
 
-from transformers import AutoTokenizer
-import transformers
 import torch
+from vllm import LLM, SamplingParams
 
-model = "seedboxai/KafkaLM-7B-DARE_TIES-LaserRMT-QLoRA-DPO-v0.5"
-messages = [{"role": "user", "content": "Was ist der Sinn des Lebens?"}]
-
-tokenizer = AutoTokenizer.from_pretrained(model)
-prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
-pipeline = transformers.pipeline(
-    "text-generation",
-    model=model,
-    torch_dtype=torch.float16,
-    device_map="auto",
+sampling_params = SamplingParams(
+    temperature=0.7, 
+    top_p=0.95, 
+    top_k=50,
+    max_tokens=512,
 )
 
-outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
-print(outputs[0]["generated_text"])
+llm = LLM(model="doubledsbv/KafkaLM-7B-DARE_TIES-DPO-v0.5-AWQ", quantization = "awq", dtype=torch.float16)
+
+
+def generate_prompt(input, sys_prompt = None):
+    prompt = ''
+    if not sys_prompt:
+      sys_prompt = "Du bist ein freundlicher und hilfsbereiter KI-Assistent. Du beantwortest Fragen faktenorientiert, präzise und ausführlich."
+    
+    prompt += f"<|system|>\n{sys_prompt.strip()}</s>\n"
+    prompt += f"<|user|>\n{input.strip()}</s>\n"
+    prompt += f"<|assistant|>\n"
+
+    return prompt
+
+outputs = llm.generate(generate_prompt("Was ist der Unterschied zwischen Ironie und Sarkasmus?"), sampling_params)
+primt(outputs[0].outputs[0].text.strip())
+
+
 ```
 
 ## Disclaimer