---
library_name: transformers
pipeline_tag: question-answering
license: cc-by-nc-4.0
datasets:
- LocalDoc/LDQuAd
language:
- az
tags:
- mBART Large for Question Answering in Azerbaijani
---

# mBART Large for Question Answering in Azerbaijani

This repository contains a fine-tuned mBART Large model for question answering in Azerbaijani. The model was trained on a custom dataset and can be used to answer questions based on a given context.

## Model Details

**Model Name:** `LocalDoc/mbart_large_qa_azerbaijan`  
**Base Model:** `facebook/mbart-large-50`  
**Language:** Azerbaijani (az_AZ)

## Training Details

The model was trained for 3 epochs with the following training and validation loss:

| Epoch | Training Loss | Validation Loss |
|-------|----------------|-----------------|
| 1     | 0.015100       | 0.014827        |
| 2     | 0.009800       | 0.013616        |
| 3     | 0.004100       | 0.015270        |

## Usage

To use this model, you need to install the `transformers` library from Hugging Face. You can then load the model and tokenizer and use them to answer questions based on a given context.

### Installation

```bash
pip install transformers
```

```python
from transformers import MBartForConditionalGeneration, MBart50Tokenizer

# Load the model and tokenizer
model_name = "LocalDoc/mbart_large_qa_azerbaijan"
tokenizer = MBart50Tokenizer.from_pretrained(model_name, src_lang="en_XX", tgt_lang="az_AZ")
model = MBartForConditionalGeneration.from_pretrained(model_name)

def answer_question(context, question):
    # Prepare input text
    input_text = f"context: {context} question: {question}"
    inputs = tokenizer(input_text, return_tensors="pt", max_length=512, truncation=True, padding="max_length")
    
    # Generate answer
    outputs = model.generate(
        input_ids=inputs["input_ids"],
        attention_mask=inputs["attention_mask"],
        max_length=128,
        num_beams=5,
        early_stopping=True
    )
    
    # Decode the answer
    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
    return answer

# Example usage
context = "Azərbaycan və ya rəsmi adı ilə Azərbaycan Respublikası — Şərqi Avropa və Qərbi Asiyanın sərhəddində yerləşən transkontinental ölkə. Azərbaycan Xəzər dənizi hövzəsinin qərbində, Cənubi Qafqazda yerləşir. Şimaldan Rusiya (Dağıstan), şimal-qərbdən Gürcüstan, qərbdən Ermənistan, cənub-qərbdən Türkiyə və cənubdan İran ilə həmsərhəddir. Azərbaycanın eksklavı olan Naxçıvan Muxtar Respublikası Ermənistanla şimal-şərqdə, İranla qərbdə və Türkiyə ilə şimal-qərbdən həmsərhəddir. Azərbaycan ərazisinin bir hissəsi (Dağlıq Qarabağ bölgəsi və ona bitişik 7 inzibati rayon) 1988–1994-cü illərdə Ermənistan tərəfindən işğal olunmuş və burda heç bir ölkə tərəfindən tanınmayan qondarma Dağlıq Qarabağ Respublikası yaradılmışdır."
question = "Azərbaycan hansı iki qitə arasında yerləşir?"

answer = answer_question(context, question)
print(answer)
```

## License

This model licensed under the CC BY-NC-ND 4.0 license.
What does this license allow?

    Attribution: You must give appropriate credit, provide a link to the license, and indicate if changes were made.
    Non-Commercial: You may not use the material for commercial purposes.
    No Derivatives: If you remix, transform, or build upon the material, you may not distribute the modified material.

For more information, please refer to the <a target="_blank" href="https://creativecommons.org/licenses/by-nc-nd/4.0/">CC BY-NC-ND 4.0 license</a>.


## Contact

For more information, questions, or issues, please contact LocalDoc at [v.resad.89@gmail.com].