Hugging Face's logo

NbAiLab
/
wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed

Automatic Speech Recognition
Transformers
PyTorch
wav2vec2
Generated from Trainer
Inference Endpoints
Model card Files Community
1
wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed / README.md
versae's picture
versae
Librarian Bot: Add base_model information to model (#1)
2ec82b2
preview code
|
raw
history blame
19 kB
metadata
license: cc0-1.0
tags:
  - generated_from_trainer
base_model: KBLab/wav2vec2-large-voxrex
model-index:
  - name: wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed
    results: []

wav2vec2-large-voxrex-npsc-nst-bokmaal-fixed

This model is a fine-tuned version of KBLab/wav2vec2-large-voxrex on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0482
  • Wer: 0.0493

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • gradient_accumulation_steps: 2
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 2000
  • num_epochs: 15.0
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Wer
6.2179 0.05 500 4.1309 0.9998
2.9345 0.11 1000 2.9238 1.0
0.7252 0.16 1500 0.3986 0.3914
0.5085 0.21 2000 0.2691 0.2844
0.397 0.26 2500 0.2210 0.2347
0.3632 0.32 3000 0.1961 0.2042
0.3393 0.37 3500 0.1793 0.1848
0.32 0.42 4000 0.1637 0.1682
0.3074 0.48 4500 0.1520 0.1592
0.2941 0.53 5000 0.1435 0.1532
0.2706 0.58 5500 0.1391 0.1468
0.2704 0.64 6000 0.1340 0.1385
0.2526 0.69 6500 0.1274 0.1336
0.2508 0.74 7000 0.1191 0.1290
0.2372 0.79 7500 0.1215 0.1252
0.2416 0.85 8000 0.1177 0.1246
0.2269 0.9 8500 0.1109 0.1191
0.2373 0.95 9000 0.1060 0.1202
0.2355 1.01 9500 0.1047 0.1186
0.2112 1.06 10000 0.1081 0.1123
0.2099 1.11 10500 0.1089 0.1109
0.1878 1.16 11000 0.1009 0.1102
0.2194 1.22 11500 0.0964 0.1121
0.204 1.27 12000 0.0953 0.1051
0.184 1.32 12500 0.0934 0.1051
0.1896 1.38 13000 0.0968 0.1037
0.1849 1.43 13500 0.0917 0.1038
0.1829 1.48 14000 0.0907 0.1002
0.1781 1.53 14500 0.0898 0.0997
0.1838 1.59 15000 0.0873 0.1002
0.1868 1.64 15500 0.0883 0.0938
0.1888 1.69 16000 0.0850 0.0928
0.1767 1.75 16500 0.0851 0.0915
0.1759 1.8 17000 0.0864 0.0932
0.1778 1.85 17500 0.0842 0.0913
0.1612 1.91 18000 0.0831 0.0873
0.163 1.96 18500 0.0797 0.0940
0.1618 2.01 19000 0.0798 0.0902
0.1576 2.06 19500 0.0818 0.0883
0.1585 2.12 20000 0.0808 0.0879
0.1519 2.17 20500 0.0804 0.0868
0.1504 2.22 21000 0.0790 0.0834
0.1518 2.28 21500 0.0772 0.0832
0.1521 2.33 22000 0.0757 0.0820
0.1459 2.38 22500 0.0778 0.0815
0.1436 2.43 23000 0.0777 0.0808
0.1475 2.49 23500 0.0736 0.0800
0.1448 2.54 24000 0.0758 0.0809
0.1602 2.59 24500 0.0721 0.0802
0.1417 2.65 25000 0.0716 0.0795
0.145 2.7 25500 0.0719 0.0791
0.1456 2.75 26000 0.0721 0.0813
0.1391 2.8 26500 0.0687 0.0780
0.1431 2.86 27000 0.0727 0.0770
0.24 2.91 27500 0.0699 0.0769
0.1333 2.96 28000 0.0701 0.0770
0.1305 3.02 28500 0.0715 0.0756
0.1366 3.07 29000 0.0700 0.0764
0.1354 3.12 29500 0.0674 0.0743
0.1269 3.18 30000 0.0689 0.0765
0.1259 3.23 30500 0.0703 0.0773
0.1246 3.28 31000 0.0672 0.0740
0.1281 3.33 31500 0.0683 0.0732
0.1356 3.39 32000 0.0686 0.0724
0.1258 3.44 32500 0.0663 0.0718
0.1305 3.49 33000 0.0680 0.0715
0.1274 3.55 33500 0.0682 0.0704
0.2169 3.6 34000 0.0663 0.0716
0.1301 3.65 34500 0.0654 0.0707
0.1242 3.7 35000 0.0653 0.0702
0.1284 3.76 35500 0.0641 0.0720
0.1204 3.81 36000 0.0642 0.0731
0.1256 3.86 36500 0.0645 0.0772
0.1147 3.92 37000 0.0659 0.0734
0.112 3.97 37500 0.0669 0.0728
0.1153 4.02 38000 0.0647 0.0738
0.1169 4.07 38500 0.0648 0.0681
0.1145 4.13 39000 0.0653 0.0686
0.108 4.18 39500 0.0643 0.0688
0.1142 4.23 40000 0.0637 0.0703
0.1126 4.29 40500 0.0637 0.0684
0.118 4.34 41000 0.0647 0.0669
0.1128 4.39 41500 0.0640 0.0680
0.1159 4.45 42000 0.0613 0.0672
0.1149 4.5 42500 0.0617 0.0660
0.1111 4.55 43000 0.0606 0.0664
0.1162 4.6 43500 0.0605 0.0655
0.1087 4.66 44000 0.0614 0.0672
0.1161 4.71 44500 0.0618 0.0674
0.1093 4.76 45000 0.0617 0.0676
0.1157 4.82 45500 0.0619 0.0653
0.1077 4.87 46000 0.0606 0.0654
0.1059 4.92 46500 0.0597 0.0633
0.1031 4.97 47000 0.0608 0.0638
0.109 5.03 47500 0.0595 0.0632
0.1009 5.08 48000 0.0597 0.0658
0.1008 5.13 48500 0.0602 0.0674
0.0952 5.19 49000 0.0604 0.0677
0.1084 5.24 49500 0.0606 0.0672
0.1061 5.29 50000 0.0579 0.0654
0.0968 5.35 50500 0.0607 0.0666
0.1025 5.4 51000 0.0594 0.0655
0.1086 5.45 51500 0.0597 0.0677
0.1007 5.5 52000 0.0590 0.0632
0.0996 5.56 52500 0.0592 0.0633
0.1041 5.61 53000 0.0593 0.0637
0.1071 5.66 53500 0.0576 0.0627
0.1073 5.72 54000 0.0591 0.0637
0.1086 5.77 54500 0.0581 0.0619
0.1043 5.82 55000 0.0583 0.0613
0.1037 5.87 55500 0.0589 0.0614
0.1008 5.93 56000 0.0576 0.0604
0.1074 5.98 56500 0.0561 0.0608
0.0978 6.03 57000 0.0576 0.0610
0.094 6.09 57500 0.0587 0.0598
0.0918 6.14 58000 0.0587 0.0603
0.0998 6.19 58500 0.0564 0.0596
0.1049 6.24 59000 0.0560 0.0590
0.0986 6.3 59500 0.0564 0.0609
0.092 6.35 60000 0.0565 0.0601
0.0944 6.4 60500 0.0552 0.0596
0.0908 6.46 61000 0.0567 0.0593
0.096 6.51 61500 0.0562 0.0588
0.0977 6.56 62000 0.0566 0.0601
0.0987 6.62 62500 0.0555 0.0594
0.0941 6.67 63000 0.0557 0.0603
0.0992 6.72 63500 0.0551 0.0603
0.0888 6.77 64000 0.0565 0.0623
0.1065 6.83 64500 0.0538 0.0598
0.0996 6.88 65000 0.0559 0.0601
0.0945 6.93 65500 0.0543 0.0608
0.0898 6.99 66000 0.0551 0.0600
0.0911 7.04 66500 0.0568 0.0598
0.0871 7.09 67000 0.0554 0.0605
0.0898 7.14 67500 0.0561 0.0600
0.0905 7.2 68000 0.0560 0.0582
0.0866 7.25 68500 0.0549 0.0614
0.0857 7.3 69000 0.0558 0.0594
0.0827 7.36 69500 0.0570 0.0603
0.0913 7.41 70000 0.0545 0.0592
0.0862 7.46 70500 0.0557 0.0591
0.0904 7.51 71000 0.0539 0.0575
0.0876 7.57 71500 0.0542 0.0587
0.0873 7.62 72000 0.0555 0.0576
0.0895 7.67 72500 0.0541 0.0586
0.0892 7.73 73000 0.0527 0.0576
0.0878 7.78 73500 0.0542 0.0588
0.0904 7.83 74000 0.0524 0.0577
0.0888 7.89 74500 0.0522 0.0582
0.0848 7.94 75000 0.0526 0.0569
0.0879 7.99 75500 0.0524 0.0584
0.0789 8.04 76000 0.0533 0.0596
0.0798 8.1 76500 0.0540 0.0592
0.0901 8.15 77000 0.0516 0.0590
0.0798 8.2 77500 0.0525 0.0571
0.0844 8.26 78000 0.0524 0.0567
0.0824 8.31 78500 0.0531 0.0560
0.0825 8.36 79000 0.0527 0.0558
0.0873 8.41 79500 0.0525 0.0564
0.0842 8.47 80000 0.0528 0.0557
0.0802 8.52 80500 0.0523 0.0559
0.0866 8.57 81000 0.0529 0.0562
0.0848 8.63 81500 0.0518 0.0567
0.0819 8.68 82000 0.0514 0.0560
0.0882 8.73 82500 0.0516 0.0564
0.0854 8.78 83000 0.0512 0.0555
0.0733 8.84 83500 0.0532 0.0558
0.0835 8.89 84000 0.0509 0.0552
0.0787 8.94 84500 0.0515 0.0547
0.0803 9.0 85000 0.0510 0.0563
0.0798 9.05 85500 0.0522 0.0558
0.0801 9.1 86000 0.0520 0.0586
0.075 9.16 86500 0.0514 0.0567
0.0764 9.21 87000 0.0522 0.0576
0.0774 9.26 87500 0.0510 0.0558
0.1719 9.31 88000 0.0481 0.0594
0.0839 9.37 88500 0.0508 0.0577
0.0777 9.42 89000 0.0513 0.0575
0.0772 9.47 89500 0.0520 0.0569
0.0796 9.53 90000 0.0509 0.0551
0.0808 9.58 90500 0.0507 0.0555
0.08 9.63 91000 0.0501 0.0559
0.0757 9.68 91500 0.0498 0.0554
0.0724 9.74 92000 0.0505 0.0540
0.0782 9.79 92500 0.0507 0.0551
0.0839 9.84 93000 0.0523 0.0557
0.0779 9.9 93500 0.0500 0.0547
0.0768 9.95 94000 0.0509 0.0558
0.0786 10.0 94500 0.0506 0.0538
0.0719 10.06 95000 0.0492 0.0563
0.0721 10.11 95500 0.0501 0.0532
0.0725 10.16 96000 0.0500 0.0541
0.0724 10.21 96500 0.0506 0.0526
0.0677 10.27 97000 0.0503 0.0525
0.0726 10.32 97500 0.0499 0.0529
0.0779 10.37 98000 0.0500 0.0529
0.1584 10.43 98500 0.0509 0.0544
0.0781 10.48 99000 0.0502 0.0530
0.0677 10.53 99500 0.0503 0.0535
0.0729 10.58 100000 0.0498 0.0535
0.0741 10.64 100500 0.0493 0.0540
0.0698 10.69 101000 0.0501 0.0532
0.0711 10.74 101500 0.0485 0.0538
0.0763 10.8 102000 0.0500 0.0544
0.0745 10.85 102500 0.0491 0.0538
0.0749 10.9 103000 0.0488 0.0547
0.0746 10.95 103500 0.0500 0.0535
0.081 11.01 104000 0.0490 0.0535
0.068 11.06 104500 0.0497 0.0522
0.07 11.11 105000 0.0499 0.0542
0.0706 11.17 105500 0.0487 0.0539
0.071 11.22 106000 0.0489 0.0535
0.0761 11.27 106500 0.0490 0.0531
0.0756 11.33 107000 0.0492 0.0536
0.0679 11.38 107500 0.0499 0.0530
0.0701 11.43 108000 0.0489 0.0523
0.0746 11.48 108500 0.0493 0.0526
0.0716 11.54 109000 0.0495 0.0529
0.066 11.59 109500 0.0491 0.0526
0.0713 11.64 110000 0.0490 0.0514
0.0659 11.7 110500 0.0492 0.0516
0.0737 11.75 111000 0.0483 0.0503
0.0737 11.8 111500 0.0484 0.0506
0.0658 11.85 112000 0.0489 0.0514
0.0726 11.91 112500 0.0477 0.0507
0.0737 11.96 113000 0.0489 0.0508
0.0677 12.01 113500 0.0491 0.0510
0.0696 12.07 114000 0.0485 0.0508
0.0611 12.12 114500 0.0501 0.0499
0.0629 12.17 115000 0.0492 0.0503
0.0694 12.22 115500 0.0495 0.0497
0.1572 12.28 116000 0.0496 0.0500
0.0662 12.33 116500 0.0491 0.0501
0.0667 12.38 117000 0.0490 0.0497
0.0717 12.44 117500 0.0487 0.0495
0.0632 12.49 118000 0.0489 0.0494
0.0664 12.54 118500 0.0489 0.0497
0.0671 12.6 119000 0.0484 0.0494
0.0612 12.65 119500 0.0491 0.0495
0.0626 12.7 120000 0.0496 0.0494
0.0602 12.75 120500 0.0489 0.0489
0.0722 12.81 121000 0.0481 0.0493
0.0677 12.86 121500 0.0488 0.0497
0.0642 12.91 122000 0.0488 0.0500
0.0635 12.97 122500 0.0482 0.0498
0.0702 13.02 123000 0.0480 0.0497
0.0622 13.07 123500 0.0489 0.0493
0.0654 13.12 124000 0.0486 0.0495
0.0682 13.18 124500 0.0483 0.0492
0.062 13.23 125000 0.0486 0.0491
0.0666 13.28 125500 0.0490 0.0492
0.1656 13.34 126000 0.0487 0.0496
0.0633 13.39 126500 0.0487 0.0497
0.0578 13.44 127000 0.0488 0.0491
0.0595 13.49 127500 0.0487 0.0500
0.0645 13.55 128000 0.0482 0.0493
0.0722 13.6 128500 0.0483 0.0500
0.0664 13.65 129000 0.0485 0.0496
0.0627 13.71 129500 0.0486 0.0498
0.0605 13.76 130000 0.0486 0.0496
0.0678 13.81 130500 0.0481 0.0498
0.0695 13.87 131000 0.0486 0.0495
0.0609 13.92 131500 0.0477 0.0497
0.064 13.97 132000 0.0481 0.0496
0.0583 14.02 132500 0.0483 0.0499
0.0639 14.08 133000 0.0483 0.0499
0.0683 14.13 133500 0.0477 0.0495
0.0623 14.18 134000 0.0485 0.0492
0.0669 14.24 134500 0.0483 0.0492
0.0603 14.29 135000 0.0484 0.0494
0.0696 14.34 135500 0.0480 0.0494
0.0631 14.39 136000 0.0482 0.0494
0.0587 14.45 136500 0.0481 0.0493
0.0671 14.5 137000 0.0483 0.0492
0.0592 14.55 137500 0.0483 0.0493
0.0592 14.61 138000 0.0489 0.0494
0.0584 14.66 138500 0.0485 0.0495
0.0575 14.71 139000 0.0483 0.0495
0.0724 14.76 139500 0.0482 0.0494
0.0629 14.82 140000 0.0483 0.0493
0.0609 14.87 140500 0.0483 0.0493
0.0573 14.92 141000 0.0481 0.0494
0.0649 14.98 141500 0.0482 0.0493

Framework versions

  • Transformers 4.18.0
  • Pytorch 1.11.0+cu113
  • Datasets 2.1.0
  • Tokenizers 0.12.1