Hugging Face's logo

molto
/
ft_kor_test_2

Automatic Speech Recognition
Transformers
PyTorch
wav2vec2
Generated from Trainer
Inference Endpoints
Model card Files Community
ft_kor_test_2 / README.md
molto's picture
molto
Upload 10 files
4d3eeb6
preview code
|
raw
history blame
13.3 kB
metadata
license: apache-2.0
tags:
  - generated_from_trainer
model-index:
  - name: ft_kor_test_1
    results: []

ft_kor_test_1

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0205
  • Cer: 0.0037

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0001
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_steps: 1000
  • num_epochs: 20
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss Cer
5.8814 0.1 500 3.3282 1.0
2.922 0.2 1000 1.5452 0.4197
1.0454 0.3 1500 0.5135 0.1411
0.6881 0.4 2000 0.3212 0.0964
0.5735 0.51 2500 0.2526 0.0805
0.5236 0.61 3000 0.2255 0.0691
0.4813 0.71 3500 0.2167 0.0662
0.4442 0.81 4000 0.1816 0.0575
0.4244 0.91 4500 0.1717 0.0542
0.4026 1.01 5000 0.1573 0.0525
0.3691 1.11 5500 0.1423 0.0455
0.3606 1.21 6000 0.1340 0.0429
0.3451 1.32 6500 0.1305 0.0417
0.3421 1.42 7000 0.1231 0.0389
0.3319 1.52 7500 0.1167 0.0379
0.3265 1.62 8000 0.1158 0.0373
0.3114 1.72 8500 0.1105 0.0343
0.299 1.82 9000 0.1015 0.0322
0.3023 1.92 9500 0.0968 0.0309
0.2952 2.02 10000 0.0926 0.0301
0.2719 2.13 10500 0.0937 0.0297
0.2726 2.23 11000 0.0902 0.0285
0.2615 2.33 11500 0.0876 0.0284
0.2611 2.43 12000 0.0839 0.0264
0.2505 2.53 12500 0.0848 0.0269
0.2494 2.63 13000 0.0788 0.0246
0.2442 2.73 13500 0.0798 0.0249
0.2448 2.83 14000 0.0769 0.0243
0.2365 2.93 14500 0.0755 0.0240
0.234 3.04 15000 0.0750 0.0221
0.2282 3.14 15500 0.0717 0.0219
0.2173 3.24 16000 0.0673 0.0210
0.2124 3.34 16500 0.0680 0.0211
0.2161 3.44 17000 0.0656 0.0206
0.2089 3.54 17500 0.0664 0.0204
0.213 3.64 18000 0.0623 0.0190
0.2094 3.74 18500 0.0635 0.0184
0.1998 3.85 19000 0.0635 0.0184
0.2024 3.95 19500 0.0620 0.0183
0.1935 4.05 20000 0.0572 0.0174
0.1873 4.15 20500 0.0607 0.0180
0.1789 4.25 21000 0.0583 0.0163
0.1842 4.35 21500 0.0663 0.0187
0.1773 4.45 22000 0.0532 0.0156
0.1877 4.55 22500 0.0583 0.0163
0.1844 4.65 23000 0.0543 0.0155
0.1711 4.76 23500 0.0522 0.0150
0.1703 4.86 24000 0.0503 0.0148
0.1712 4.96 24500 0.0524 0.0153
0.1642 5.06 25000 0.0505 0.0148
0.1622 5.16 25500 0.0476 0.0138
0.1544 5.26 26000 0.0500 0.0143
0.157 5.36 26500 0.0505 0.0139
0.1632 5.46 27000 0.0487 0.0138
0.1516 5.57 27500 0.0440 0.0126
0.1532 5.67 28000 0.0467 0.0127
0.1523 5.77 28500 0.0486 0.0135
0.1471 5.87 29000 0.0489 0.0129
0.1498 5.97 29500 0.0458 0.0123
0.1511 6.07 30000 0.0424 0.0123
0.1422 6.17 30500 0.0444 0.0118
0.1394 6.27 31000 0.0519 0.0148
0.1483 6.38 31500 0.0436 0.0120
0.1394 6.48 32000 0.0465 0.0126
0.1363 6.58 32500 0.0397 0.0110
0.1372 6.68 33000 0.0418 0.0110
0.1353 6.78 33500 0.0412 0.0110
0.1356 6.88 34000 0.0397 0.0109
0.1321 6.98 34500 0.0380 0.0100
0.1323 7.08 35000 0.0373 0.0101
0.1251 7.18 35500 0.0365 0.0099
0.1238 7.29 36000 0.0381 0.0100
0.1247 7.39 36500 0.0394 0.0103
0.128 7.49 37000 0.0389 0.0102
0.1245 7.59 37500 0.0382 0.0096
0.1224 7.69 38000 0.0358 0.0090
0.12 7.79 38500 0.0495 0.0113
0.1217 7.89 39000 0.0476 0.0108
0.1198 7.99 39500 0.0512 0.0130
0.1125 8.1 40000 0.0431 0.0109
0.1107 8.2 40500 0.0456 0.0111
0.1101 8.3 41000 0.0889 0.0176
0.1136 8.4 41500 0.0449 0.0103
0.1131 8.5 42000 0.0320 0.0082
0.1145 8.6 42500 0.0311 0.0083
0.1039 8.7 43000 0.0317 0.0086
0.1115 8.8 43500 0.0384 0.0086
0.1098 8.91 44000 0.0328 0.0085
0.1114 9.01 44500 0.0331 0.0083
0.0982 9.11 45000 0.0305 0.0079
0.1041 9.21 45500 0.0359 0.0084
0.1033 9.31 46000 0.0298 0.0076
0.1024 9.41 46500 0.0310 0.0076
0.0981 9.51 47000 0.0309 0.0075
0.1033 9.61 47500 0.0311 0.0076
0.0995 9.71 48000 0.0309 0.0079
0.1012 9.82 48500 0.0283 0.0071
0.1039 9.92 49000 0.0276 0.0070
0.0957 10.02 49500 0.0298 0.0071
0.0933 10.12 50000 0.0297 0.0073
0.0961 10.22 50500 0.0278 0.0069
0.0939 10.32 51000 0.0278 0.0071
0.0928 10.42 51500 0.0279 0.0071
0.0915 10.52 52000 0.0271 0.0065
0.0907 10.63 52500 0.0385 0.0099
0.0951 10.73 53000 0.0556 0.0127
0.0949 10.83 53500 0.0767 0.0189
0.0923 10.93 54000 0.0317 0.0074
0.0852 11.03 54500 0.0474 0.0114
0.0863 11.13 55000 0.0304 0.0067
0.0858 11.23 55500 0.0289 0.0063
0.0852 11.33 56000 0.0399 0.0117
0.0821 11.43 56500 0.0498 0.0111
0.0822 11.54 57000 0.0452 0.0113
0.0838 11.64 57500 0.0397 0.0079
0.0771 11.74 58000 0.0568 0.0120
0.0813 11.84 58500 0.0465 0.0087
0.078 11.94 59000 0.0524 0.0092
0.0809 12.04 59500 0.0545 0.0100
0.0755 12.14 60000 0.0273 0.0057
0.077 12.24 60500 0.0277 0.0060
0.0772 12.35 61000 0.0265 0.0057
0.0728 12.45 61500 0.0311 0.0057
0.0766 12.55 62000 0.0301 0.0066
0.0805 12.65 62500 0.0323 0.0067
0.0732 12.75 63000 0.0298 0.0061
0.0735 12.85 63500 0.0229 0.0052
0.0738 12.95 64000 0.0242 0.0054
0.0709 13.05 64500 0.0237 0.0053
0.0702 13.16 65000 0.0236 0.0050
0.0702 13.26 65500 0.0255 0.0053
0.0676 13.36 66000 0.0236 0.0052
0.0704 13.46 66500 0.0224 0.0053
0.07 13.56 67000 0.0238 0.0054
0.0671 13.66 67500 0.0232 0.0054
0.0709 13.76 68000 0.0228 0.0051
0.0636 13.86 68500 0.0227 0.0052
0.0661 13.96 69000 0.0223 0.0049
0.0645 14.07 69500 0.0222 0.0048
0.0639 14.17 70000 0.0243 0.0051
0.0608 14.27 70500 0.0250 0.0050
0.0631 14.37 71000 0.0234 0.0048
0.0656 14.47 71500 0.0228 0.0048
0.0616 14.57 72000 0.0239 0.0050
0.0631 14.67 72500 0.0237 0.0049
0.0662 14.77 73000 0.0234 0.0047
0.0622 14.88 73500 0.0289 0.0056
0.064 14.98 74000 0.0242 0.0048
0.0546 15.08 74500 0.0234 0.0049
0.0573 15.18 75000 0.0254 0.0054
0.0571 15.28 75500 0.0288 0.0058
0.0576 15.38 76000 0.0244 0.0053
0.0562 15.48 76500 0.0299 0.0061
0.0595 15.58 77000 0.0221 0.0046
0.0601 15.69 77500 0.0224 0.0046
0.0575 15.79 78000 0.0216 0.0045
0.059 15.89 78500 0.0222 0.0045
0.0562 15.99 79000 0.0224 0.0047
0.0551 16.09 79500 0.0216 0.0044
0.0539 16.19 80000 0.0223 0.0047
0.0547 16.29 80500 0.0212 0.0045
0.0527 16.39 81000 0.0264 0.0049
0.0527 16.49 81500 0.0247 0.0050
0.0526 16.6 82000 0.0236 0.0047
0.0507 16.7 82500 0.0213 0.0042
0.0522 16.8 83000 0.0221 0.0042
0.0522 16.9 83500 0.0220 0.0042
0.0496 17.0 84000 0.0217 0.0043
0.0495 17.1 84500 0.0214 0.0042
0.0493 17.2 85000 0.0217 0.0042
0.0488 17.3 85500 0.0207 0.0040
0.0492 17.41 86000 0.0210 0.0042
0.0496 17.51 86500 0.0204 0.0042
0.0487 17.61 87000 0.0216 0.0041
0.0466 17.71 87500 0.0199 0.0040
0.0465 17.81 88000 0.0199 0.0040
0.0491 17.91 88500 0.0198 0.0040
0.0469 18.01 89000 0.0204 0.0041
0.0447 18.11 89500 0.0205 0.0040
0.0487 18.21 90000 0.0215 0.0040
0.0455 18.32 90500 0.0207 0.0039
0.047 18.42 91000 0.0207 0.0040
0.0458 18.52 91500 0.0206 0.0040
0.0462 18.62 92000 0.0202 0.0039
0.0473 18.72 92500 0.0212 0.0039
0.043 18.82 93000 0.0208 0.0039
0.0435 18.92 93500 0.0204 0.0039
0.0448 19.02 94000 0.0208 0.0038
0.0435 19.13 94500 0.0205 0.0038
0.0433 19.23 95000 0.0203 0.0038
0.0425 19.33 95500 0.0204 0.0037
0.045 19.43 96000 0.0205 0.0038
0.043 19.53 96500 0.0205 0.0037
0.0435 19.63 97000 0.0206 0.0038
0.0424 19.73 97500 0.0207 0.0037
0.0441 19.83 98000 0.0206 0.0037
0.0452 19.94 98500 0.0205 0.0037

Framework versions

  • Transformers 4.29.2
  • Pytorch 2.0.1+cu117
  • Datasets 2.13.0
  • Tokenizers 0.13.3