library_name: transformers
pipeline_tag: question-answering
license: cc-by-nc-4.0
datasets:
- LocalDoc/LDQuAd
language:
- az
tags:
- mBART Large for Question Answering in Azerbaijani
mBART Large for Question Answering in Azerbaijani
This repository contains a fine-tuned mBART Large model for question answering in Azerbaijani. The model was trained on a custom dataset and can be used to answer questions based on a given context.
Model Details
Model Name: LocalDoc/mbart_large_qa_azerbaijan
Base Model: facebook/mbart-large-50
Language: Azerbaijani (az_AZ)
Training Details
The model was trained for 3 epochs with the following training and validation loss:
| Epoch | Training Loss | Validation Loss |
|---|---|---|
| 1 | 0.015100 | 0.014827 |
| 2 | 0.009800 | 0.013616 |
| 3 | 0.004100 | 0.015270 |
Usage
To use this model, you need to install the transformers library from Hugging Face. You can then load the model and tokenizer and use them to answer questions based on a given context.
Installation
pip install transformers
from transformers import MBartForConditionalGeneration, MBart50Tokenizer
# Load the model and tokenizer
model_name = "LocalDoc/mbart_large_qa_azerbaijan"
tokenizer = MBart50Tokenizer.from_pretrained(model_name, src_lang="en_XX", tgt_lang="az_AZ")
model = MBartForConditionalGeneration.from_pretrained(model_name)
def answer_question(context, question):
# Prepare input text
input_text = f"context: {context} question: {question}"
inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True, padding="max_length")
# Generate answer
outputs = model.generate(
input_ids=inputs["input_ids"],
attention_mask=inputs["attention_mask"],
max_length=128,
num_beams=5,
early_stopping=True
)
# Decode the answer
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
return answer
# Example usage
context = "Azərbaycan və ya rəsmi adı ilə Azərbaycan Respublikası — Şərqi Avropa və Qərbi Asiyanın sərhəddində yerləşən transkontinental ölkə. Azərbaycan Xəzər dənizi hövzəsinin qərbində, Cənubi Qafqazda yerləşir. Şimaldan Rusiya (Dağıstan), şimal-qərbdən Gürcüstan, qərbdən Ermənistan, cənub-qərbdən Türkiyə və cənubdan İran ilə həmsərhəddir. Azərbaycanın eksklavı olan Naxçıvan Muxtar Respublikası Ermənistanla şimal-şərqdə, İranla qərbdə və Türkiyə ilə şimal-qərbdən həmsərhəddir. Azərbaycan ərazisinin bir hissəsi (Dağlıq Qarabağ bölgəsi və ona bitişik 7 inzibati rayon) 1988–1994-cü illərdə Ermənistan tərəfindən işğal olunmuş və burda heç bir ölkə tərəfindən tanınmayan qondarma Dağlıq Qarabağ Respublikası yaradılmışdır."
question = "Azərbaycan hansı iki qitə arasında yerləşir?"
answer = answer_question(context, question)
print(answer)
License
This model licensed under the CC BY-NC-ND 4.0 license. What does this license allow?
Attribution: You must give appropriate credit, provide a link to the license, and indicate if changes were made.
Non-Commercial: You may not use the material for commercial purposes.
No Derivatives: If you remix, transform, or build upon the material, you may not distribute the modified material.
For more information, please refer to the CC BY-NC-ND 4.0 license.
Contact
For more information, questions, or issues, please contact LocalDoc at [[email protected]].