Azerbaijani question answering

This model is a fine-tuned version of XLM-RoBERTa (XLM-R) on a Question Answering (QA) dataset in Azerbaijani. XLM-RoBERTa is a powerful multilingual model that supports 100+ languages. Our fine-tuned model leverages XLM-R's language-agnostic capabilities to specifically improve performance on Azerbaijani QA tasks, aiming to provide accurate answers from Azerbaijani text inputs.

How to Use

This model can be loaded and used for prediction using the Hugging Face Transformers library. Below is an example code snippet in Python:

from transformers import AutoTokenizer, AutoModelForQuestionAnswering, pipeline

ckpt = "alasdevcenter/az-question-answering"
tokenizer = AutoTokenizer.from_pretrained(ckpt)
model = AutoModelForQuestionAnswering.from_pretrained(ckpt)

qa = pipeline("question-answering", model=model, tokenizer=tokenizer)

Example 1:

text = "Güclü yeraltı təkanlar hətta əsas zəlzələdən aylar sonra da davam etdi. Mayın 25-də 6.0 MVt (CEA-ya görə 6.4 Ms) gücündə zəlzələ ilkin episentrdən şimal-şərqdə, Sıçuan əyalətinin Qingchuan rayonunda baş vermiş, 8 nəfərin ölümünə, 1000 nəfərin yaralanmasına və minlərlə binanın dağılmasına səbəb olmuşdur. Mayın 27-də Qinqçuan qraflığında biri 5,2 MVt və Şaansi ştatının Ninqyan qraflığında 5,7 MV gücündə iki artçı təkanlar 420 mindən çox evin uçmasına və 63 nəfərin yaralanmasına səbəb olub. Eyni ərazidə iyulun 23-də 5,6 və 6,0 Ms (USGS-in məlumatına görə, müvafiq olaraq 5,8 və 5,5 MVt) gücündə daha iki afterşok baş verib, nəticədə 1 nəfər ölüb, 6 ciddi xəsarət alıb, yüzlərlə evin uçması və kilometrlərlə magistral yollara ziyan dəyib. Pingwu County və Beichuan County, Sichuan, həmçinin Wenchuan'ın şimal-şərqində və 1976-cı ildə 7,2 Ms zəlzələnin episentrinə yaxın ərazidə avqustun 1-də 6,1 Ms (USGS-ə görə 5,7 Mw) zəlzələ baş verdi; 2 nəfərin ölümünə, 345 nəfərin yaralanmasına, 707 evin uçmasına, 1000-dən çox evə ziyan vurmasına və 25 kilometr (16 mil) kənd yollarının bağlanmasına səbəb oldu. Avqustun 5-nə kimi, 6,1 Ms (USGS-ə görə 6,2 Mv) gücündə daha bir afterşok Sıçuan əyalətinin Qingçuan bölgəsini vurdu və nəticədə 1 nəfər ölüb, 32 nəfər yaralanıb, telekommunikasiya kəsilib və geniş yayılmış təpə sürüşmələri bu ərazidə yolları bağlayaraq milli magistral da daxil olmaqla."
question = "Mayın 25-də baş verən zəlzələdə neçə nəfər xəsarət alıb?"

qa({"question": question, "context": text})

Result 1:

'{'score': 0.045555830001831055, 'start': 230, 'end': 234, 'answer': '1000'}'

Example 2:

text = "Rusiyada axtardığı xoşbəxtliyi tapmayan Kadi keçidin tezliklə həll olunmasını istəyir və yayda ağdamlılara qoşulmağı arzulayır."

question = "Kadi komandaya nə vaxt qoşulmaq istəyir?"

qa({"question": question, "context": text})

Result 2:

{'score': 0.024677298963069916, 'start': 89, 'end': 94, 'answer': 'yayda'}

Example 3:

text = "Xəzər Xəbər-ə istinadən məlumatına görə, söhbət 67 nömrəli tam orta məktəbdə təhsil alan Ayan Həsənovadan gedir."
question = "Ayan Həsənova neçə nömrəli məktəbdə təhsil alır?"

qa({"question": question, "context": text})

Result 3:

{'score': 0.34860777854919434, 'start': 48, 'end': 50, 'answer': '67'}

Example 4:


text = "Siqareti tərgitmək qərarı alanlar 2 sınaqdan keçir: abstinent sindrom və psixoloji asılılıq. Birincidən orqanizm 3-5 həftəyə keçir və öyrəşə bilir. O sevimli narkotikindən ayrılmağa elə də ciddi yanaşmayacaq."

question = "Siqareti tərgitmək hansı sınaqlardan keçir?"

qa({"question": question, "context": text})

Result 4:

{'score': 0.030840611085295677,
 'start': 52,
 'end': 82,
 'answer': 'abstinent sindrom və psixoloji'}

Limitations and Bias

As the model was fine-tuned for only 1 epoch, it may not capture all nuances of the Azerbaijani language or the full complexity of the QA task. Users should be aware of potential biases in the training data which might affect the model's performance on certain types of questions or texts.

Ethical Considerations

Users are encouraged to use this model responsibly and consider the ethical implications of automated question answering systems, especially in sensitive or high-stakes contexts.

Citation

Please cite this model as follows:

    author       = { {Alas Development Center} },
    title        = { az-question-answering},
    year         = 2024,
    url          = { https://huggingface.co/alasdevcenter/az-question-answering },
    doi          = { 10.57967/hf/2027 },
    publisher    = { Hugging Face }
}