Kushtrim/whisper-medium-sq

Whisper Medium SQ

This model is a fine-tuned version of openai/whisper-medium on the Mozilla Common Voice 18.0 dataset.

It achieves the following results on the evaluation set:

• Loss: 0.1396
• Wer: 5.8018

Model description

You can read more about the model in the openai/whisper-medium model card.

Performance and Limitations

The Whisper Medium SQ model demonstrates slightly improved performance compared to the pretrained version, with a WER of 5.8018. However, the results are not yet optimal. The main challenge is the lack of sufficient and high-quality data for the Albanian language. This model serves as an example to highlight that increased community participation and voice donations can significantly enhance performance. To achieve top-tier results, a larger and more diverse dataset is essential. Contributions from the community are crucial for improving the model's accuracy and efficiency. You can contribute to this effort by visiting the Mozilla Common Voice website.

Original Text	OpenAI Whisper Medium Transcription	Whisper Medium SQ Transcription
Duke nderuar të gjithë burrat dhe gratë që bënë sakrifica të mëdha për të ndërtuar një të ardhme më të mirë për Kosovën, 1. Ne, udhëheqësit e popullit tonë, të zgjedhur në mënyrë demokratike, nëpërmjet kësaj Deklarate shpallim Kosovën shtet të pavarur dhe demokratik.	Duken deruar te gjith burra dhe grat, qe ben sakrifisa te mdha per te ndërtua një te arël me me te mir per Kosoven. Ne, ne. Ne, u dheqsi te popoli ton te zjeldër në menjur demokratike, ne prëmjet kësaj deklerate, shpalim Kosoven shtet te pavarur dhe demokratik.	Duk e nderuar, të gjithë burët dhe gratë, që bënë sakrifica të mdha për të ndërtuar një të arëdhme më të mirë për Kosovën. Ne, ne, udhëheqësit e popullit tonë, të zgjedhën në mënyrë demokratike, nëpërmjet kësoj deklarate shpallim Kosovën shtet të pavarur dhe demokratike.

Example

wget -N https://github.com/KushtrimVisoka/datasets/blob/2d88b7aca989001f1b870ad732295e689bee86d4/Deklarata-e-Pavare%CC%88sise%CC%88-se%CC%88-Kosove%CC%88s.mp3

from transformers import pipeline

transcriber = pipeline("automatic-speech-recognition", model="Kushtrim/whisper-medium-sq")
transcriber("Deklarata-e-Pavarësisë-së-Kosovës.mp3", generate_kwargs={'task': 'transcribe', 'language': 'sq'})

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 1e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 500
• training_steps: 5000
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.0241	4.6729	1000	0.1425	9.4414
0.0027	9.3458	2000	0.1281	13.2973
0.0015	14.0187	3000	0.1322	6.1622
0.0001	18.6916	4000	0.1383	5.7658
0.0001	23.3645	5000	0.1396	5.8018