Update README.md

README.md

@@ -42,11 +42,61 @@ The following `bitsandbytes` quantization config was used during training:
 
 - PEFT 0.6.3.dev0
 
+
+### Loading model and tokenizer
+
 ```python
 from peft import PeftModel, PeftConfig
 from transformers import AutoModelForCausalLM
 
 config = PeftConfig.from_pretrained("hajili/zephyr-7b-beta-dolly-azerbaijani")
-model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta")
+model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta", device_map='auto', torch_dtype=torch.bfloat16)
 model = PeftModel.from_pretrained(model, "hajili/zephyr-7b-beta-dolly-azerbaijani")
+
+tokenizer = transformers.AutoTokenizer.from_pretrained(
+        "hajili/zephyr-7b-beta-dolly-azerbaijani",
+    )
+tokenizer.pad_token = tokenizer.eos_token
+tokenizer.padding_side = 'right'
+```
+
+### Text Comprehension:
+
+``` python
+system_message = "Bakı şəhərinin əhalisi neçə milyondur?"
+user_message = "Azərbaycanın paytaxtı Bakı şəhəridir. Onun əhalisi 3 milyondur. Bakı Xəzər dənizi sahilində yerləşir."
+
+prompt = f"<|system|>\n{system_message}\n<|user|>\n{user_message}\n<|assistant|>\n"
+inputs = tokenizer(prompt, return_tensors='pt', return_attention_mask=False)
+
+output_ids = model.generate(**inputs, max_length=200)
+
+answer = tokenizer.batch_decode(output_ids)[0]
+
+print(answer) #Bakı şəhərinin əhalisi 3 milyondur.
+```
+
+### Text Generation
+``` python
+system_message = "Təbiət haqqında şeir yaz."
+user_message = ""
+
+prompt = f"<|system|>\n{system_message}\n<|user|>\n{user_message}\n<|assistant|>\n"
+inputs = tokenizer(prompt, return_tensors='pt', return_attention_mask=False)
+
+output_ids = model.generate(**inputs, max_length=200)
+
+answer = tokenizer.batch_decode(output_ids)[0]
+
+print(answer)
+
+#Günəşin yanında, göy qurşağının rəngləri,
+#Yeni bir günün doğulması,
+#Həyat başlayır,
+#Bir yeni səyahətə başlayın.
+#
+#Günəşin yanında, göy qurşağının rəngləri,
+#Rənglər dəyiş,
+#Həyat dəyişir,
+#Və məni tərk edir.
 ```