Hugging Face's logo

Team-PIXEL
/
pixel-small-mono

Transformers
PyTorch
pixel
masked-auto-encoding
Generated from Trainer
Inference Endpoints
Model card Files Community
pixel-small-mono / README.md
plip's picture
plip
update model card README.md
433cc8b
preview code
|
raw
history blame contribute delete
27.8 kB
metadata
tags:
  - masked-auto-encoding
  - generated_from_trainer
model-index:
  - name: monospace-pixel-small
    results: []

monospace-pixel-small

This model is a fine-tuned version of on the wikipedia dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2340

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 64
  • eval_batch_size: 8
  • seed: 42
  • distributed_type: multi-GPU
  • num_devices: 8
  • total_train_batch_size: 512
  • total_eval_batch_size: 64
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • lr_scheduler_warmup_ratio: 0.05
  • training_steps: 500000

Training results

Training Loss Epoch Step Validation Loss
0.6779 0.02 1000 0.6512
0.6505 0.05 2000 0.6479
0.6475 0.07 3000 0.6461
0.6464 0.09 4000 0.6451
0.6455 0.12 5000 0.6444
0.6448 0.14 6000 0.6439
0.6222 0.16 7000 0.6123
0.6019 0.19 8000 0.5873
0.5838 0.21 9000 0.5689
0.5612 0.23 10000 0.5473
0.5428 0.26 11000 0.5301
0.527 0.28 12000 0.5141
0.5142 0.3 13000 0.5023
0.5002 0.33 14000 0.4842
0.4852 0.35 15000 0.4707
0.4697 0.37 16000 0.4562
0.459 0.4 17000 0.4430
0.45 0.42 18000 0.4343
0.4411 0.44 19000 0.4250
0.4322 0.47 20000 0.4133
0.4233 0.49 21000 0.4033
0.4146 0.51 22000 0.3944
0.4077 0.54 23000 0.3865
0.4019 0.56 24000 0.3818
0.3968 0.58 25000 0.3785
0.392 0.61 26000 0.3732
0.3869 0.63 27000 0.3670
0.3828 0.65 28000 0.3616
0.3786 0.68 29000 0.3613
0.3751 0.7 30000 0.3555
0.3713 0.72 31000 0.3529
0.3681 0.75 32000 0.3517
0.3656 0.77 33000 0.3477
0.3626 0.79 34000 0.3423
0.3601 0.82 35000 0.3443
0.3577 0.84 36000 0.3400
0.3555 0.86 37000 0.3369
0.3532 0.89 38000 0.3357
0.3514 0.91 39000 0.3329
0.3493 0.93 40000 0.3323
0.3477 0.96 41000 0.3314
0.3459 0.98 42000 0.3256
0.3441 1.0 43000 0.3270
0.3424 1.03 44000 0.3216
0.3408 1.05 45000 0.3245
0.3394 1.07 46000 0.3232
0.338 1.1 47000 0.3225
0.3363 1.12 48000 0.3195
0.3353 1.14 49000 0.3167
0.3338 1.16 50000 0.3172
0.3325 1.19 51000 0.3168
0.3316 1.21 52000 0.3141
0.3305 1.23 53000 0.3114
0.3303 1.26 54000 0.3110
0.3284 1.28 55000 0.3112
0.3276 1.3 56000 0.3099
0.3264 1.33 57000 0.3089
0.3256 1.35 58000 0.3104
0.3247 1.37 59000 0.3088
0.3241 1.4 60000 0.3056
0.3229 1.42 61000 0.3048
0.3223 1.44 62000 0.3062
0.3215 1.47 63000 0.3042
0.3208 1.49 64000 0.3029
0.3201 1.51 65000 0.3009
0.3198 1.54 66000 0.3037
0.3187 1.56 67000 0.3021
0.3179 1.58 68000 0.2990
0.3176 1.61 69000 0.3009
0.3169 1.63 70000 0.3002
0.3161 1.65 71000 0.2997
0.3156 1.68 72000 0.2982
0.3148 1.7 73000 0.2982
0.3143 1.72 74000 0.2961
0.3137 1.75 75000 0.2935
0.3132 1.77 76000 0.2974
0.313 1.79 77000 0.2965
0.3147 1.82 78000 0.2947
0.3118 1.84 79000 0.2940
0.3113 1.86 80000 0.2935
0.3109 1.89 81000 0.2936
0.3103 1.91 82000 0.2913
0.3102 1.93 83000 0.2955
0.3096 1.96 84000 0.2917
0.3093 1.98 85000 0.2931
0.3084 2.0 86000 0.2907
0.3086 2.03 87000 0.2908
0.3077 2.05 88000 0.2881
0.3087 2.07 89000 0.2878
0.3065 2.1 90000 0.2883
0.3063 2.12 91000 0.2891
0.3057 2.14 92000 0.2866
0.3066 2.17 93000 0.2894
0.3048 2.19 94000 0.2859
0.3051 2.21 95000 0.2881
0.3041 2.24 96000 0.2859
0.3039 2.26 97000 0.2837
0.3032 2.28 98000 0.2860
0.3039 2.31 99000 0.2858
0.3025 2.33 100000 0.2849
0.3023 2.35 101000 0.2857
0.3024 2.38 102000 0.2879
0.3018 2.4 103000 0.2866
0.3015 2.42 104000 0.2861
0.301 2.45 105000 0.2853
0.3008 2.47 106000 0.2859
0.3006 2.49 107000 0.2829
0.3003 2.52 108000 0.2835
0.2998 2.54 109000 0.2799
0.3001 2.56 110000 0.2816
0.2991 2.59 111000 0.2831
0.2987 2.61 112000 0.2819
0.2985 2.63 113000 0.2830
0.2981 2.66 114000 0.2824
0.2978 2.68 115000 0.2790
0.2973 2.7 116000 0.2793
0.2977 2.73 117000 0.2807
0.2969 2.75 118000 0.2817
0.2967 2.77 119000 0.2808
0.2965 2.8 120000 0.2787
0.2958 2.82 121000 0.2786
0.2968 2.84 122000 0.2792
0.2956 2.87 123000 0.2779
0.2948 2.89 124000 0.2770
0.2952 2.91 125000 0.2796
0.2943 2.94 126000 0.2771
0.2945 2.96 127000 0.2768
0.2945 2.98 128000 0.2766
0.2944 3.01 129000 0.2760
0.2944 3.03 130000 0.2758
0.2937 3.05 131000 0.2751
0.2935 3.08 132000 0.2737
0.2931 3.1 133000 0.2755
0.2936 3.12 134000 0.2768
0.2934 3.15 135000 0.2776
0.2925 3.17 136000 0.2716
0.2924 3.19 137000 0.2737
0.2931 3.22 138000 0.2753
0.2917 3.24 139000 0.2745
0.2918 3.26 140000 0.2774
0.2914 3.29 141000 0.2756
0.2913 3.31 142000 0.2743
0.2909 3.33 143000 0.2742
0.2911 3.36 144000 0.2735
0.2904 3.38 145000 0.2727
0.2903 3.4 146000 0.2748
0.2899 3.43 147000 0.2698
0.2896 3.45 148000 0.2718
0.2895 3.47 149000 0.2725
0.2892 3.49 150000 0.2716
0.2889 3.52 151000 0.2722
0.289 3.54 152000 0.2718
0.2888 3.56 153000 0.2718
0.2887 3.59 154000 0.2725
0.2888 3.61 155000 0.2710
0.289 3.63 156000 0.2686
0.2873 3.66 157000 0.2693
0.2876 3.68 158000 0.2717
0.2873 3.7 159000 0.2711
0.2883 3.73 160000 0.2702
0.287 3.75 161000 0.2717
0.2868 3.77 162000 0.2690
0.2869 3.8 163000 0.2686
0.286 3.82 164000 0.2662
0.286 3.84 165000 0.2697
0.2859 3.87 166000 0.2704
0.2858 3.89 167000 0.2678
0.2854 3.91 168000 0.2670
0.2853 3.94 169000 0.2691
0.2849 3.96 170000 0.2683
0.2858 3.98 171000 0.2663
0.2846 4.01 172000 0.2714
0.2846 4.03 173000 0.2669
0.2844 4.05 174000 0.2691
0.2839 4.08 175000 0.2685
0.284 4.1 176000 0.2669
0.2835 4.12 177000 0.2660
0.2833 4.15 178000 0.2681
0.2833 4.17 179000 0.2678
0.2839 4.19 180000 0.2671
0.2832 4.22 181000 0.2657
0.2828 4.24 182000 0.2643
0.2825 4.26 183000 0.2665
0.2854 4.29 184000 0.2665
0.2824 4.31 185000 0.2619
0.2819 4.33 186000 0.2657
0.2824 4.36 187000 0.2655
0.2815 4.38 188000 0.2621
0.2814 4.4 189000 0.2638
0.2821 4.43 190000 0.2650
0.281 4.45 191000 0.2648
0.2812 4.47 192000 0.2635
0.2809 4.5 193000 0.2629
0.2809 4.52 194000 0.2643
0.2805 4.54 195000 0.2625
0.2806 4.57 196000 0.2639
0.2805 4.59 197000 0.2628
0.2799 4.61 198000 0.2629
0.2802 4.64 199000 0.2624
0.2799 4.66 200000 0.2646
0.2796 4.68 201000 0.2606
0.2796 4.71 202000 0.2641
0.2795 4.73 203000 0.2627
0.2793 4.75 204000 0.2612
0.2789 4.78 205000 0.2591
0.2789 4.8 206000 0.2602
0.2789 4.82 207000 0.2611
0.2787 4.85 208000 0.2650
0.2784 4.87 209000 0.2615
0.2782 4.89 210000 0.2624
0.2783 4.92 211000 0.2621
0.2781 4.94 212000 0.2614
0.2779 4.96 213000 0.2598
0.2776 4.99 214000 0.2595
0.2774 5.01 215000 0.2608
0.2782 5.03 216000 0.2615
0.2779 5.06 217000 0.2626
0.2768 5.08 218000 0.2594
0.2774 5.1 219000 0.2606
0.2767 5.13 220000 0.2606
0.2763 5.15 221000 0.2605
0.2766 5.17 222000 0.2599
0.2763 5.2 223000 0.2582
0.2764 5.22 224000 0.2606
0.276 5.24 225000 0.2585
0.2758 5.27 226000 0.2608
0.2761 5.29 227000 0.2606
0.2759 5.31 228000 0.2582
0.2754 5.34 229000 0.2570
0.2753 5.36 230000 0.2596
0.2753 5.38 231000 0.2578
0.2749 5.41 232000 0.2568
0.2749 5.43 233000 0.2575
0.2748 5.45 234000 0.2570
0.2744 5.48 235000 0.2594
0.2748 5.5 236000 0.2592
0.2742 5.52 237000 0.2585
0.2742 5.55 238000 0.2570
0.2743 5.57 239000 0.2567
0.274 5.59 240000 0.2570
0.2739 5.62 241000 0.2584
0.2738 5.64 242000 0.2564
0.2737 5.66 243000 0.2559
0.2732 5.69 244000 0.2552
0.2733 5.71 245000 0.2560
0.2733 5.73 246000 0.2555
0.2732 5.76 247000 0.2539
0.2732 5.78 248000 0.2552
0.2729 5.8 249000 0.2535
0.2728 5.82 250000 0.2543
0.2729 5.85 251000 0.2555
0.2723 5.87 252000 0.2528
0.2722 5.89 253000 0.2557
0.2722 5.92 254000 0.2576
0.2718 5.94 255000 0.2552
0.2715 5.96 256000 0.2557
0.2725 5.99 257000 0.2527
0.2717 6.01 258000 0.2517
0.272 6.03 259000 0.2557
0.2717 6.06 260000 0.2546
0.2709 6.08 261000 0.2549
0.2708 6.1 262000 0.2543
0.2719 6.13 263000 0.2540
0.2706 6.15 264000 0.2522
0.2705 6.17 265000 0.2552
0.2708 6.2 266000 0.2525
0.2704 6.22 267000 0.2517
0.2701 6.24 268000 0.2536
0.2704 6.27 269000 0.2539
0.2702 6.29 270000 0.2548
0.2698 6.31 271000 0.2508
0.2703 6.34 272000 0.2518
0.2693 6.36 273000 0.2533
0.2698 6.38 274000 0.2530
0.2697 6.41 275000 0.2507
0.2691 6.43 276000 0.2510
0.2691 6.45 277000 0.2523
0.2689 6.48 278000 0.2522
0.2688 6.5 279000 0.2515
0.2686 6.52 280000 0.2516
0.2686 6.55 281000 0.2526
0.2686 6.57 282000 0.2530
0.2681 6.59 283000 0.2523
0.2683 6.62 284000 0.2518
0.268 6.64 285000 0.2508
0.2683 6.66 286000 0.2502
0.2681 6.69 287000 0.2507
0.2681 6.71 288000 0.2518
0.2679 6.73 289000 0.2504
0.2675 6.76 290000 0.2505
0.2679 6.78 291000 0.2502
0.2675 6.8 292000 0.2517
0.2672 6.83 293000 0.2517
0.2673 6.85 294000 0.2483
0.2671 6.87 295000 0.2483
0.2669 6.9 296000 0.2523
0.2666 6.92 297000 0.2494
0.2664 6.94 298000 0.2497
0.2953 6.97 299000 0.6473
0.6483 6.99 300000 0.6471
0.6477 7.01 301000 0.6461
0.6471 7.04 302000 0.6455
0.4659 7.06 303000 0.2599
0.2707 7.08 304000 0.2535
0.2681 7.11 305000 0.2525
0.2678 7.13 306000 0.2504
0.267 7.15 307000 0.2485
0.2663 7.18 308000 0.2510
0.266 7.2 309000 0.2499
0.2658 7.22 310000 0.2481
0.2656 7.25 311000 0.2481
0.2653 7.27 312000 0.2519
0.2652 7.29 313000 0.2483
0.2654 7.32 314000 0.2468
0.2653 7.34 315000 0.2493
0.265 7.36 316000 0.2473
0.2646 7.39 317000 0.2479
0.2647 7.41 318000 0.2483
0.2645 7.43 319000 0.2484
0.2642 7.46 320000 0.2467
0.2643 7.48 321000 0.2483
0.2643 7.5 322000 0.2488
0.2638 7.53 323000 0.2484
0.2636 7.55 324000 0.2478
0.2633 7.57 325000 0.2480
0.2633 7.6 326000 0.2482
0.2637 7.62 327000 0.2486
0.2634 7.64 328000 0.2464
0.2631 7.67 329000 0.2453
0.2631 7.69 330000 0.2482
0.263 7.71 331000 0.2436
0.2631 7.74 332000 0.2457
0.2629 7.76 333000 0.2470
0.2626 7.78 334000 0.2488
0.2626 7.81 335000 0.2465
0.2623 7.83 336000 0.2481
0.2624 7.85 337000 0.2449
0.2623 7.88 338000 0.2460
0.2626 7.9 339000 0.2447
0.262 7.92 340000 0.2456
0.2624 7.95 341000 0.2436
0.2618 7.97 342000 0.2451
0.2617 7.99 343000 0.2431
0.2614 8.02 344000 0.2446
0.2617 8.04 345000 0.2446
0.2612 8.06 346000 0.2443
0.261 8.08 347000 0.2445
0.261 8.11 348000 0.2460
0.261 8.13 349000 0.2420
0.2608 8.15 350000 0.2434
0.2607 8.18 351000 0.2465
0.261 8.2 352000 0.2440
0.2605 8.22 353000 0.2437
0.2605 8.25 354000 0.2444
0.2603 8.27 355000 0.2447
0.2599 8.29 356000 0.2416
0.2601 8.32 357000 0.2435
0.26 8.34 358000 0.2428
0.26 8.36 359000 0.2448
0.2596 8.39 360000 0.2432
0.2596 8.41 361000 0.2435
0.2595 8.43 362000 0.2439
0.2593 8.46 363000 0.2452
0.2593 8.48 364000 0.2412
0.2592 8.5 365000 0.2430
0.2587 8.53 366000 0.2405
0.2591 8.55 367000 0.2447
0.2586 8.57 368000 0.2428
0.259 8.6 369000 0.2415
0.2588 8.62 370000 0.2388
0.2585 8.64 371000 0.2436
0.2582 8.67 372000 0.2406
0.2583 8.69 373000 0.2428
0.2585 8.71 374000 0.2433
0.2578 8.74 375000 0.2411
0.2582 8.76 376000 0.2427
0.258 8.78 377000 0.2417
0.2576 8.81 378000 0.2399
0.2574 8.83 379000 0.2415
0.2579 8.85 380000 0.2417
0.2573 8.88 381000 0.2407
0.2575 8.9 382000 0.2418
0.2573 8.92 383000 0.2398
0.2573 8.95 384000 0.2400
0.2569 8.97 385000 0.2390
0.2572 8.99 386000 0.2373
0.2566 9.02 387000 0.2406
0.2565 9.04 388000 0.2388
0.2566 9.06 389000 0.2398
0.2564 9.09 390000 0.2411
0.2566 9.11 391000 0.2374
0.2564 9.13 392000 0.2417
0.2565 9.16 393000 0.2408
0.2566 9.18 394000 0.2391
0.2561 9.2 395000 0.2375
0.2562 9.23 396000 0.2393
0.256 9.25 397000 0.2419
0.2561 9.27 398000 0.2420
0.2554 9.3 399000 0.2418
0.2559 9.32 400000 0.2379
0.2555 9.34 401000 0.2394
0.2553 9.37 402000 0.2388
0.2553 9.39 403000 0.2373
0.2553 9.41 404000 0.2365
0.2555 9.44 405000 0.2398
0.2553 9.46 406000 0.2392
0.255 9.48 407000 0.2371
0.2548 9.51 408000 0.2382
0.2548 9.53 409000 0.2374
0.2548 9.55 410000 0.2390
0.2547 9.58 411000 0.2395
0.2544 9.6 412000 0.2367
0.2548 9.62 413000 0.2361
0.2545 9.65 414000 0.2389
0.2547 9.67 415000 0.2401
0.2545 9.69 416000 0.2389
0.2543 9.72 417000 0.2375
0.2543 9.74 418000 0.2396
0.2541 9.76 419000 0.2385
0.2541 9.79 420000 0.2357
0.2539 9.81 421000 0.2378
0.254 9.83 422000 0.2355
0.2537 9.86 423000 0.2358
0.2536 9.88 424000 0.2361
0.2534 9.9 425000 0.2385
0.2534 9.93 426000 0.2372
0.2535 9.95 427000 0.2362
0.2535 9.97 428000 0.2361
0.2532 10.0 429000 0.2369
0.2533 10.02 430000 0.2366
0.2529 10.04 431000 0.2381
0.2532 10.07 432000 0.2370
0.253 10.09 433000 0.2379
0.2531 10.11 434000 0.2394
0.2528 10.14 435000 0.2357
0.253 10.16 436000 0.2384
0.2525 10.18 437000 0.2387
0.2526 10.21 438000 0.2344
0.2527 10.23 439000 0.2362
0.2528 10.25 440000 0.2371
0.2525 10.28 441000 0.2355
0.2521 10.3 442000 0.2365
0.2523 10.32 443000 0.2356
0.2523 10.35 444000 0.2366
0.2519 10.37 445000 0.2352
0.2523 10.39 446000 0.2358
0.2521 10.41 447000 0.2341
0.2519 10.44 448000 0.2375
0.2519 10.46 449000 0.2350
0.2519 10.48 450000 0.2356
0.2518 10.51 451000 0.2345
0.252 10.53 452000 0.2365
0.2517 10.55 453000 0.2377
0.2516 10.58 454000 0.2362
0.2517 10.6 455000 0.2354
0.2515 10.62 456000 0.2340
0.2515 10.65 457000 0.2348
0.2517 10.67 458000 0.2370
0.2514 10.69 459000 0.2341
0.2514 10.72 460000 0.2361
0.2513 10.74 461000 0.2357
0.2516 10.76 462000 0.2352
0.2511 10.79 463000 0.2325
0.2515 10.81 464000 0.2364
0.2509 10.83 465000 0.2379
0.2511 10.86 466000 0.2361
0.2513 10.88 467000 0.2350
0.2509 10.9 468000 0.2350
0.2512 10.93 469000 0.2339
0.2508 10.95 470000 0.2333
0.2508 10.97 471000 0.2342
0.2508 11.0 472000 0.2346
0.2509 11.02 473000 0.2332
0.2506 11.04 474000 0.2351
0.2506 11.07 475000 0.2317
0.2508 11.09 476000 0.2339
0.2506 11.11 477000 0.2343
0.2506 11.14 478000 0.2336
0.2508 11.16 479000 0.2331
0.2507 11.18 480000 0.2337
0.2506 11.21 481000 0.2345
0.2505 11.23 482000 0.2329
0.2505 11.25 483000 0.2361
0.2505 11.28 484000 0.2341
0.2503 11.3 485000 0.2339
0.2505 11.32 486000 0.2341
0.2505 11.35 487000 0.2334
0.2504 11.37 488000 0.2337
0.2504 11.39 489000 0.2356
0.2506 11.42 490000 0.2319
0.2503 11.44 491000 0.2337
0.2501 11.46 492000 0.2318
0.2505 11.49 493000 0.2325
0.2504 11.51 494000 0.2338
0.2503 11.53 495000 0.2317
0.2502 11.56 496000 0.2340
0.25 11.58 497000 0.2341
0.2502 11.6 498000 0.2324
0.2504 11.63 499000 0.2360
0.2501 11.65 500000 0.2346

Framework versions

  • Transformers 4.17.0
  • Pytorch 1.11.0
  • Datasets 2.5.0
  • Tokenizers 0.12.1