jonasaise/merged_gemma-2b-it-lora-svenne-v2

Finetuned gemma-2b-it with instructions in Swedish from aya

Sample code to load and run inference:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "./merged_gemma-2b-it-lora-svenne-v2"
tokenizer = AutoTokenizer.from_pretrained(model_id)

model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

messages = [
    {"role": "user", "content": "Hur gör man en bra såromläggning?"},
    {"role": "assistant", "content": "Om såret är lite större är det bra att täcka det med en kompress. Kompresser och en speciell häfta att fästa dem med kan du köpa på apotek."},
    {"role": "user", "content": "Om det bara är ett litet sår då?"}

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to("cuda")

outputs = model.generate(inputs, max_new_tokens=512)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

license: cc-by-4.0 datasets: - CohereForAI/aya_dataset language: - sv