layoutlm-funsd

This model is a fine-tuned version of pvbhanuteja/layoutlm-funsd on the funsd dataset. It achieves the following results on the evaluation set:

• Loss: 1.1395
• Answer: {'precision': 0.733934611048478, 'recall': 0.8046971569839307, 'f1': 0.767688679245283, 'number': 809}
• Header: {'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119}
• Question: {'precision': 0.7980339588918678, 'recall': 0.8384976525821596, 'f1': 0.8177655677655677, 'number': 1065}
• Overall Precision: 0.7444
• Overall Recall: 0.8053
• Overall F1: 0.7737
• Overall Accuracy: 0.8054

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 64
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Answer	Header	Question	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.7854	1.0	3	0.7718	{'precision': 0.5876826722338204, 'recall': 0.695920889987639, 'f1': 0.6372382569326542, 'number': 809}	{'precision': 0.1509433962264151, 'recall': 0.06722689075630252, 'f1': 0.09302325581395347, 'number': 119}	{'precision': 0.6840731070496083, 'recall': 0.7380281690140845, 'f1': 0.7100271002710027, 'number': 1065}	0.6282	0.6809	0.6535	0.7603
0.6636	2.0	6	0.7427	{'precision': 0.6303418803418803, 'recall': 0.7292954264524104, 'f1': 0.67621776504298, 'number': 809}	{'precision': 0.2289156626506024, 'recall': 0.15966386554621848, 'f1': 0.18811881188118812, 'number': 119}	{'precision': 0.6728295819935691, 'recall': 0.7859154929577464, 'f1': 0.7249891728020789, 'number': 1065}	0.6390	0.7255	0.6795	0.7810
0.5784	3.0	9	0.6996	{'precision': 0.6334033613445378, 'recall': 0.7453646477132262, 'f1': 0.6848381601362863, 'number': 809}	{'precision': 0.23529411764705882, 'recall': 0.13445378151260504, 'f1': 0.17112299465240638, 'number': 119}	{'precision': 0.705161854768154, 'recall': 0.7568075117370892, 'f1': 0.7300724637681159, 'number': 1065}	0.6588	0.7150	0.6858	0.7843
0.5096	4.0	12	0.7029	{'precision': 0.6794150731158605, 'recall': 0.7466007416563659, 'f1': 0.7114252061248527, 'number': 809}	{'precision': 0.27380952380952384, 'recall': 0.19327731092436976, 'f1': 0.2266009852216749, 'number': 119}	{'precision': 0.7071029529130087, 'recall': 0.831924882629108, 'f1': 0.7644521138912856, 'number': 1065}	0.6797	0.7592	0.7172	0.7928
0.4932	5.0	15	0.6843	{'precision': 0.6684266103484688, 'recall': 0.7824474660074165, 'f1': 0.7209567198177677, 'number': 809}	{'precision': 0.2653061224489796, 'recall': 0.2184873949579832, 'f1': 0.23963133640552997, 'number': 119}	{'precision': 0.7347114556416882, 'recall': 0.8009389671361502, 'f1': 0.7663971248876907, 'number': 1065}	0.6854	0.7587	0.7202	0.7976
0.4558	6.0	18	0.6809	{'precision': 0.6920492721164614, 'recall': 0.7639060568603214, 'f1': 0.7262044653349001, 'number': 809}	{'precision': 0.29245283018867924, 'recall': 0.2605042016806723, 'f1': 0.27555555555555555, 'number': 119}	{'precision': 0.7493495229835212, 'recall': 0.8112676056338028, 'f1': 0.7790802524797115, 'number': 1065}	0.7031	0.7592	0.7300	0.8022
0.4103	7.0	21	0.6674	{'precision': 0.6886486486486486, 'recall': 0.7873918417799752, 'f1': 0.7347174163783161, 'number': 809}	{'precision': 0.3, 'recall': 0.25210084033613445, 'f1': 0.273972602739726, 'number': 119}	{'precision': 0.7483221476510067, 'recall': 0.8375586854460094, 'f1': 0.7904297740363314, 'number': 1065}	0.7032	0.7822	0.7406	0.8006
0.3867	8.0	24	0.6610	{'precision': 0.7100115074798619, 'recall': 0.7626699629171817, 'f1': 0.735399284862932, 'number': 809}	{'precision': 0.30303030303030304, 'recall': 0.33613445378151263, 'f1': 0.3187250996015936, 'number': 119}	{'precision': 0.759825327510917, 'recall': 0.8169014084507042, 'f1': 0.7873303167420814, 'number': 1065}	0.7116	0.7662	0.7379	0.8094
0.3632	9.0	27	0.6517	{'precision': 0.7088465845464725, 'recall': 0.7824474660074165, 'f1': 0.7438307873090482, 'number': 809}	{'precision': 0.29357798165137616, 'recall': 0.2689075630252101, 'f1': 0.28070175438596495, 'number': 119}	{'precision': 0.768695652173913, 'recall': 0.8300469483568075, 'f1': 0.798194130925508, 'number': 1065}	0.7198	0.7772	0.7474	0.8168
0.3275	10.0	30	0.6857	{'precision': 0.7166666666666667, 'recall': 0.7972805933250927, 'f1': 0.7548273844353424, 'number': 809}	{'precision': 0.2695035460992908, 'recall': 0.31932773109243695, 'f1': 0.2923076923076923, 'number': 119}	{'precision': 0.766695576756288, 'recall': 0.8300469483568075, 'f1': 0.7971145175834085, 'number': 1065}	0.7142	0.7863	0.7485	0.8043
0.2981	11.0	33	0.6884	{'precision': 0.7378190255220418, 'recall': 0.7861557478368356, 'f1': 0.7612208258527828, 'number': 809}	{'precision': 0.34959349593495936, 'recall': 0.36134453781512604, 'f1': 0.35537190082644626, 'number': 119}	{'precision': 0.7722513089005235, 'recall': 0.8309859154929577, 'f1': 0.8005427408412483, 'number': 1065}	0.7339	0.7847	0.7585	0.8067
0.2841	12.0	36	0.6951	{'precision': 0.7202718006795017, 'recall': 0.7861557478368356, 'f1': 0.7517730496453902, 'number': 809}	{'precision': 0.336283185840708, 'recall': 0.31932773109243695, 'f1': 0.32758620689655166, 'number': 119}	{'precision': 0.7684943429068756, 'recall': 0.8291079812206573, 'f1': 0.7976513098464317, 'number': 1065}	0.7259	0.7812	0.7525	0.8109
0.2505	13.0	39	0.7074	{'precision': 0.7242152466367713, 'recall': 0.7985166872682324, 'f1': 0.7595532039976484, 'number': 809}	{'precision': 0.3049645390070922, 'recall': 0.36134453781512604, 'f1': 0.3307692307692308, 'number': 119}	{'precision': 0.7823371989295272, 'recall': 0.8234741784037559, 'f1': 0.8023787740164685, 'number': 1065}	0.7270	0.7858	0.7552	0.8054
0.2416	14.0	42	0.7138	{'precision': 0.7323462414578588, 'recall': 0.7948084054388134, 'f1': 0.7622999407231773, 'number': 809}	{'precision': 0.328, 'recall': 0.3445378151260504, 'f1': 0.33606557377049184, 'number': 119}	{'precision': 0.7828773168578994, 'recall': 0.8328638497652582, 'f1': 0.8070973612374885, 'number': 1065}	0.7355	0.7883	0.7610	0.8116
0.2138	15.0	45	0.7212	{'precision': 0.7307692307692307, 'recall': 0.7985166872682324, 'f1': 0.7631423508564678, 'number': 809}	{'precision': 0.3333333333333333, 'recall': 0.35294117647058826, 'f1': 0.34285714285714286, 'number': 119}	{'precision': 0.7901785714285714, 'recall': 0.8309859154929577, 'f1': 0.8100686498855836, 'number': 1065}	0.7385	0.7893	0.7630	0.8155
0.2019	16.0	48	0.7338	{'precision': 0.7417893544733862, 'recall': 0.8096415327564895, 'f1': 0.7742316784869978, 'number': 809}	{'precision': 0.37209302325581395, 'recall': 0.40336134453781514, 'f1': 0.3870967741935484, 'number': 119}	{'precision': 0.7945945945945946, 'recall': 0.828169014084507, 'f1': 0.8110344827586206, 'number': 1065}	0.7469	0.7953	0.7704	0.8137
0.1807	17.0	51	0.7435	{'precision': 0.7295454545454545, 'recall': 0.7935723114956736, 'f1': 0.7602131438721137, 'number': 809}	{'precision': 0.3787878787878788, 'recall': 0.42016806722689076, 'f1': 0.398406374501992, 'number': 119}	{'precision': 0.7898032200357782, 'recall': 0.8291079812206573, 'f1': 0.8089784699954191, 'number': 1065}	0.7394	0.7903	0.7640	0.8178
0.173	18.0	54	0.7623	{'precision': 0.7337807606263982, 'recall': 0.8108776266996292, 'f1': 0.7704051673517321, 'number': 809}	{'precision': 0.37777777777777777, 'recall': 0.42857142857142855, 'f1': 0.40157480314960625, 'number': 119}	{'precision': 0.7865961199294532, 'recall': 0.8375586854460094, 'f1': 0.8112778535698044, 'number': 1065}	0.7393	0.8023	0.7695	0.8124
0.1463	19.0	57	0.7833	{'precision': 0.7365470852017937, 'recall': 0.8121137206427689, 'f1': 0.7724867724867724, 'number': 809}	{'precision': 0.38235294117647056, 'recall': 0.4369747899159664, 'f1': 0.40784313725490196, 'number': 119}	{'precision': 0.7901785714285714, 'recall': 0.8309859154929577, 'f1': 0.8100686498855836, 'number': 1065}	0.7421	0.7998	0.7699	0.8120
0.1429	20.0	60	0.7812	{'precision': 0.7403628117913832, 'recall': 0.8071693448702101, 'f1': 0.7723240685984624, 'number': 809}	{'precision': 0.3770491803278688, 'recall': 0.3865546218487395, 'f1': 0.38174273858921165, 'number': 119}	{'precision': 0.7859054415700267, 'recall': 0.8272300469483568, 'f1': 0.8060384263494967, 'number': 1065}	0.7435	0.7928	0.7674	0.8153
0.1263	21.0	63	0.7958	{'precision': 0.7327293318233296, 'recall': 0.799752781211372, 'f1': 0.764775413711584, 'number': 809}	{'precision': 0.3986013986013986, 'recall': 0.4789915966386555, 'f1': 0.4351145038167939, 'number': 119}	{'precision': 0.8021978021978022, 'recall': 0.8225352112676056, 'f1': 0.812239221140473, 'number': 1065}	0.7460	0.7928	0.7687	0.8139
0.1285	22.0	66	0.7985	{'precision': 0.7421171171171171, 'recall': 0.8145859085290482, 'f1': 0.7766647024160284, 'number': 809}	{'precision': 0.41732283464566927, 'recall': 0.44537815126050423, 'f1': 0.43089430894308944, 'number': 119}	{'precision': 0.7955156950672646, 'recall': 0.8328638497652582, 'f1': 0.8137614678899082, 'number': 1065}	0.7507	0.8023	0.7756	0.8178
0.1141	23.0	69	0.8143	{'precision': 0.7497129735935706, 'recall': 0.8071693448702101, 'f1': 0.7773809523809524, 'number': 809}	{'precision': 0.3958333333333333, 'recall': 0.4789915966386555, 'f1': 0.43346007604562736, 'number': 119}	{'precision': 0.8052536231884058, 'recall': 0.8347417840375587, 'f1': 0.8197325956662057, 'number': 1065}	0.7546	0.8023	0.7777	0.8161
0.1133	24.0	72	0.8220	{'precision': 0.7482993197278912, 'recall': 0.8158220024721878, 'f1': 0.7806031933767001, 'number': 809}	{'precision': 0.39855072463768115, 'recall': 0.46218487394957986, 'f1': 0.42801556420233466, 'number': 119}	{'precision': 0.7974910394265233, 'recall': 0.8356807511737089, 'f1': 0.8161393856029343, 'number': 1065}	0.7514	0.8053	0.7774	0.8160
0.1054	25.0	75	0.8361	{'precision': 0.7426966292134831, 'recall': 0.8170580964153276, 'f1': 0.7781047675103001, 'number': 809}	{'precision': 0.3829787234042553, 'recall': 0.453781512605042, 'f1': 0.4153846153846153, 'number': 119}	{'precision': 0.7976723366159355, 'recall': 0.8366197183098592, 'f1': 0.8166819431714023, 'number': 1065}	0.7477	0.8058	0.7757	0.8126
0.0977	26.0	78	0.8533	{'precision': 0.7444196428571429, 'recall': 0.8244746600741656, 'f1': 0.7824046920821115, 'number': 809}	{'precision': 0.3782051282051282, 'recall': 0.4957983193277311, 'f1': 0.4290909090909091, 'number': 119}	{'precision': 0.8014505893019039, 'recall': 0.8300469483568075, 'f1': 0.8154981549815499, 'number': 1065}	0.7471	0.8078	0.7763	0.8101
0.0892	27.0	81	0.8621	{'precision': 0.7412429378531074, 'recall': 0.8108776266996292, 'f1': 0.7744982290436836, 'number': 809}	{'precision': 0.4108527131782946, 'recall': 0.44537815126050423, 'f1': 0.4274193548387097, 'number': 119}	{'precision': 0.7895204262877442, 'recall': 0.8347417840375587, 'f1': 0.8115015974440895, 'number': 1065}	0.7467	0.8018	0.7733	0.8091
0.0849	28.0	84	0.8762	{'precision': 0.7410313901345291, 'recall': 0.8170580964153276, 'f1': 0.7771898883009994, 'number': 809}	{'precision': 0.3973509933774834, 'recall': 0.5042016806722689, 'f1': 0.44444444444444436, 'number': 119}	{'precision': 0.8053259871441689, 'recall': 0.8234741784037559, 'f1': 0.8142989786443826, 'number': 1065}	0.7495	0.8018	0.7748	0.8091
0.0872	29.0	87	0.8853	{'precision': 0.7511210762331838, 'recall': 0.8281829419035847, 'f1': 0.7877718988830099, 'number': 809}	{'precision': 0.3937007874015748, 'recall': 0.42016806722689076, 'f1': 0.4065040650406504, 'number': 119}	{'precision': 0.7943262411347518, 'recall': 0.8413145539906103, 'f1': 0.8171454628362973, 'number': 1065}	0.7527	0.8108	0.7807	0.8097
0.0735	30.0	90	0.9033	{'precision': 0.7508610792192881, 'recall': 0.8084054388133498, 'f1': 0.7785714285714286, 'number': 809}	{'precision': 0.40789473684210525, 'recall': 0.5210084033613446, 'f1': 0.45756457564575653, 'number': 119}	{'precision': 0.8034420289855072, 'recall': 0.8328638497652582, 'f1': 0.8178884278469339, 'number': 1065}	0.7536	0.8043	0.7782	0.8068
0.0679	31.0	93	0.9204	{'precision': 0.745475113122172, 'recall': 0.8145859085290482, 'f1': 0.7784997046662729, 'number': 809}	{'precision': 0.39552238805970147, 'recall': 0.44537815126050423, 'f1': 0.4189723320158103, 'number': 119}	{'precision': 0.809437386569873, 'recall': 0.8375586854460094, 'f1': 0.823257960313798, 'number': 1065}	0.7566	0.8048	0.7800	0.8041
0.0688	32.0	96	0.9282	{'precision': 0.7525539160045402, 'recall': 0.8195302843016069, 'f1': 0.7846153846153846, 'number': 809}	{'precision': 0.40458015267175573, 'recall': 0.44537815126050423, 'f1': 0.424, 'number': 119}	{'precision': 0.7994652406417112, 'recall': 0.8422535211267606, 'f1': 0.8203017832647461, 'number': 1065}	0.7559	0.8093	0.7817	0.8054
0.0636	33.0	99	0.9372	{'precision': 0.7508571428571429, 'recall': 0.8121137206427689, 'f1': 0.7802850356294537, 'number': 809}	{'precision': 0.42657342657342656, 'recall': 0.5126050420168067, 'f1': 0.46564885496183206, 'number': 119}	{'precision': 0.8210332103321033, 'recall': 0.8356807511737089, 'f1': 0.8282922289436947, 'number': 1065}	0.7650	0.8068	0.7853	0.8055
0.064	34.0	102	0.9531	{'precision': 0.7339246119733924, 'recall': 0.8182941903584673, 'f1': 0.7738164815897136, 'number': 809}	{'precision': 0.4357142857142857, 'recall': 0.5126050420168067, 'f1': 0.47104247104247104, 'number': 119}	{'precision': 0.8237476808905381, 'recall': 0.8338028169014085, 'f1': 0.8287447503499767, 'number': 1065}	0.7599	0.8083	0.7834	0.8057
0.0547	35.0	105	0.9549	{'precision': 0.7440543601359003, 'recall': 0.8121137206427689, 'f1': 0.7765957446808511, 'number': 809}	{'precision': 0.42857142857142855, 'recall': 0.5042016806722689, 'f1': 0.4633204633204633, 'number': 119}	{'precision': 0.8012533572068039, 'recall': 0.8403755868544601, 'f1': 0.8203483043079742, 'number': 1065}	0.7533	0.8088	0.7801	0.8039
0.0575	36.0	108	0.9460	{'precision': 0.7488738738738738, 'recall': 0.8220024721878862, 'f1': 0.7837360047142015, 'number': 809}	{'precision': 0.43884892086330934, 'recall': 0.5126050420168067, 'f1': 0.4728682170542636, 'number': 119}	{'precision': 0.8057553956834532, 'recall': 0.8413145539906103, 'f1': 0.8231511254019293, 'number': 1065}	0.7583	0.8138	0.7851	0.8094
0.0562	37.0	111	0.9400	{'precision': 0.7384960718294051, 'recall': 0.8133498145859085, 'f1': 0.7741176470588235, 'number': 809}	{'precision': 0.43661971830985913, 'recall': 0.5210084033613446, 'f1': 0.47509578544061304, 'number': 119}	{'precision': 0.8227146814404432, 'recall': 0.8366197183098592, 'f1': 0.829608938547486, 'number': 1065}	0.7613	0.8083	0.7841	0.8104
0.056	38.0	114	0.9528	{'precision': 0.7310267857142857, 'recall': 0.8096415327564895, 'f1': 0.7683284457478006, 'number': 809}	{'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119}	{'precision': 0.8021486123545211, 'recall': 0.8413145539906103, 'f1': 0.8212648945921174, 'number': 1065}	0.7456	0.8088	0.7759	0.8078
0.0489	39.0	117	0.9570	{'precision': 0.7250554323725056, 'recall': 0.8084054388133498, 'f1': 0.7644652250146114, 'number': 809}	{'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119}	{'precision': 0.8127272727272727, 'recall': 0.8394366197183099, 'f1': 0.8258660508083141, 'number': 1065}	0.7476	0.8068	0.7761	0.8084
0.0474	40.0	120	0.9818	{'precision': 0.738015607580825, 'recall': 0.8182941903584673, 'f1': 0.7760844079718641, 'number': 809}	{'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119}	{'precision': 0.8209647495361782, 'recall': 0.8309859154929577, 'f1': 0.8259449370041997, 'number': 1065}	0.7567	0.8068	0.7810	0.8052
0.0449	41.0	123	0.9890	{'precision': 0.7421171171171171, 'recall': 0.8145859085290482, 'f1': 0.7766647024160284, 'number': 809}	{'precision': 0.4064516129032258, 'recall': 0.5294117647058824, 'f1': 0.4598540145985402, 'number': 119}	{'precision': 0.7981981981981981, 'recall': 0.831924882629108, 'f1': 0.8147126436781609, 'number': 1065}	0.7469	0.8068	0.7757	0.8050
0.0386	42.0	126	0.9969	{'precision': 0.7378531073446327, 'recall': 0.8071693448702101, 'f1': 0.7709563164108618, 'number': 809}	{'precision': 0.4161073825503356, 'recall': 0.5210084033613446, 'f1': 0.46268656716417916, 'number': 119}	{'precision': 0.7937777777777778, 'recall': 0.8384976525821596, 'f1': 0.8155251141552512, 'number': 1065}	0.7448	0.8068	0.7746	0.8050
0.0366	43.0	129	1.0134	{'precision': 0.745230078563412, 'recall': 0.8207663782447466, 'f1': 0.7811764705882352, 'number': 809}	{'precision': 0.4144736842105263, 'recall': 0.5294117647058824, 'f1': 0.4649446494464945, 'number': 119}	{'precision': 0.8150873965041399, 'recall': 0.831924882629108, 'f1': 0.8234200743494424, 'number': 1065}	0.7573	0.8093	0.7824	0.8067
0.0378	44.0	132	1.0138	{'precision': 0.7390817469204927, 'recall': 0.8158220024721878, 'f1': 0.7755581668625147, 'number': 809}	{'precision': 0.4117647058823529, 'recall': 0.5294117647058824, 'f1': 0.463235294117647, 'number': 119}	{'precision': 0.8235840297121634, 'recall': 0.8328638497652582, 'f1': 0.8281979458450046, 'number': 1065}	0.7584	0.8078	0.7823	0.8063
0.0419	45.0	135	1.0164	{'precision': 0.7400681044267877, 'recall': 0.8059332509270705, 'f1': 0.7715976331360946, 'number': 809}	{'precision': 0.3880597014925373, 'recall': 0.4369747899159664, 'f1': 0.41106719367588934, 'number': 119}	{'precision': 0.8136363636363636, 'recall': 0.8403755868544601, 'f1': 0.8267898383371823, 'number': 1065}	0.7560	0.8023	0.7785	0.8066
0.0384	46.0	138	1.0165	{'precision': 0.7241379310344828, 'recall': 0.8046971569839307, 'f1': 0.7622950819672132, 'number': 809}	{'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119}	{'precision': 0.8149171270718232, 'recall': 0.8309859154929577, 'f1': 0.8228730822873082, 'number': 1065}	0.7484	0.8013	0.7739	0.8054
0.0336	47.0	141	1.0123	{'precision': 0.7248618784530386, 'recall': 0.8108776266996292, 'f1': 0.765460910151692, 'number': 809}	{'precision': 0.41721854304635764, 'recall': 0.5294117647058824, 'f1': 0.4666666666666667, 'number': 119}	{'precision': 0.8151571164510166, 'recall': 0.828169014084507, 'f1': 0.8216115510013973, 'number': 1065}	0.7488	0.8033	0.7751	0.8066
0.0341	48.0	144	1.0189	{'precision': 0.7284768211920529, 'recall': 0.8158220024721878, 'f1': 0.7696793002915452, 'number': 809}	{'precision': 0.4013605442176871, 'recall': 0.4957983193277311, 'f1': 0.443609022556391, 'number': 119}	{'precision': 0.7996406109613656, 'recall': 0.8356807511737089, 'f1': 0.8172635445362718, 'number': 1065}	0.7428	0.8073	0.7737	0.8060
0.0301	49.0	147	1.0265	{'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809}	{'precision': 0.42758620689655175, 'recall': 0.5210084033613446, 'f1': 0.4696969696969697, 'number': 119}	{'precision': 0.8036036036036036, 'recall': 0.8375586854460094, 'f1': 0.8202298850574712, 'number': 1065}	0.7486	0.8053	0.7759	0.8055
0.0284	50.0	150	1.0386	{'precision': 0.7300884955752213, 'recall': 0.8158220024721878, 'f1': 0.7705779334500875, 'number': 809}	{'precision': 0.4305555555555556, 'recall': 0.5210084033613446, 'f1': 0.47148288973384034, 'number': 119}	{'precision': 0.8151875571820677, 'recall': 0.8366197183098592, 'f1': 0.8257645968489342, 'number': 1065}	0.7534	0.8093	0.7804	0.8070
0.0296	51.0	153	1.0616	{'precision': 0.7266739846322722, 'recall': 0.8182941903584673, 'f1': 0.769767441860465, 'number': 809}	{'precision': 0.4064516129032258, 'recall': 0.5294117647058824, 'f1': 0.4598540145985402, 'number': 119}	{'precision': 0.8117001828153565, 'recall': 0.8338028169014085, 'f1': 0.8226030569708198, 'number': 1065}	0.7468	0.8093	0.7768	0.8022
0.0286	52.0	156	1.0679	{'precision': 0.7313266443701226, 'recall': 0.8108776266996292, 'f1': 0.7690504103165299, 'number': 809}	{'precision': 0.42105263157894735, 'recall': 0.5378151260504201, 'f1': 0.47232472324723246, 'number': 119}	{'precision': 0.8092643051771117, 'recall': 0.8366197183098592, 'f1': 0.8227146814404432, 'number': 1065}	0.7493	0.8083	0.7777	0.8006
0.0268	53.0	159	1.0635	{'precision': 0.7344632768361582, 'recall': 0.8034610630407911, 'f1': 0.7674144037780402, 'number': 809}	{'precision': 0.410958904109589, 'recall': 0.5042016806722689, 'f1': 0.4528301886792453, 'number': 119}	{'precision': 0.8054054054054054, 'recall': 0.8394366197183099, 'f1': 0.8220689655172414, 'number': 1065}	0.7492	0.8048	0.7760	0.8006
0.0231	54.0	162	1.0634	{'precision': 0.7351290684624018, 'recall': 0.8096415327564895, 'f1': 0.7705882352941176, 'number': 809}	{'precision': 0.4161073825503356, 'recall': 0.5210084033613446, 'f1': 0.46268656716417916, 'number': 119}	{'precision': 0.8054298642533937, 'recall': 0.8356807511737089, 'f1': 0.8202764976958525, 'number': 1065}	0.7492	0.8063	0.7767	0.8026
0.0258	55.0	165	1.0696	{'precision': 0.7307262569832402, 'recall': 0.8084054388133498, 'f1': 0.767605633802817, 'number': 809}	{'precision': 0.4155844155844156, 'recall': 0.5378151260504201, 'f1': 0.46886446886446886, 'number': 119}	{'precision': 0.8091324200913242, 'recall': 0.831924882629108, 'f1': 0.8203703703703705, 'number': 1065}	0.7481	0.8048	0.7754	0.8031
0.025	56.0	168	1.0740	{'precision': 0.739524348810872, 'recall': 0.8071693448702101, 'f1': 0.7718676122931442, 'number': 809}	{'precision': 0.4195804195804196, 'recall': 0.5042016806722689, 'f1': 0.4580152671755725, 'number': 119}	{'precision': 0.8018099547511313, 'recall': 0.831924882629108, 'f1': 0.816589861751152, 'number': 1065}	0.7504	0.8023	0.7755	0.8035
0.0247	57.0	171	1.0777	{'precision': 0.7391799544419134, 'recall': 0.8022249690976514, 'f1': 0.7694131594546533, 'number': 809}	{'precision': 0.41605839416058393, 'recall': 0.4789915966386555, 'f1': 0.4453125, 'number': 119}	{'precision': 0.8016157989228008, 'recall': 0.8384976525821596, 'f1': 0.8196420376319412, 'number': 1065}	0.7511	0.8023	0.7758	0.8035
0.022	58.0	174	1.0866	{'precision': 0.7369614512471655, 'recall': 0.8034610630407911, 'f1': 0.768775872264932, 'number': 809}	{'precision': 0.4125874125874126, 'recall': 0.4957983193277311, 'f1': 0.450381679389313, 'number': 119}	{'precision': 0.8007213706041478, 'recall': 0.8338028169014085, 'f1': 0.8169273229070838, 'number': 1065}	0.7484	0.8013	0.7739	0.8029
0.0195	59.0	177	1.0924	{'precision': 0.7398190045248869, 'recall': 0.8084054388133498, 'f1': 0.7725930301240402, 'number': 809}	{'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119}	{'precision': 0.8119266055045872, 'recall': 0.8309859154929577, 'f1': 0.8213457076566124, 'number': 1065}	0.7540	0.8028	0.7776	0.8046
0.0249	60.0	180	1.0896	{'precision': 0.740909090909091, 'recall': 0.8059332509270705, 'f1': 0.7720544701006513, 'number': 809}	{'precision': 0.4189189189189189, 'recall': 0.5210084033613446, 'f1': 0.46441947565543074, 'number': 119}	{'precision': 0.816420664206642, 'recall': 0.8309859154929577, 'f1': 0.8236389018147976, 'number': 1065}	0.7571	0.8023	0.7790	0.8057
0.0226	61.0	183	1.0869	{'precision': 0.7431506849315068, 'recall': 0.8046971569839307, 'f1': 0.772700296735905, 'number': 809}	{'precision': 0.4178082191780822, 'recall': 0.5126050420168067, 'f1': 0.460377358490566, 'number': 119}	{'precision': 0.8191881918819188, 'recall': 0.8338028169014085, 'f1': 0.8264308980921358, 'number': 1065}	0.7597	0.8028	0.7807	0.8068
0.0183	62.0	186	1.0987	{'precision': 0.7362514029180696, 'recall': 0.8108776266996292, 'f1': 0.7717647058823529, 'number': 809}	{'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119}	{'precision': 0.8141674333026679, 'recall': 0.8309859154929577, 'f1': 0.8224907063197026, 'number': 1065}	0.7535	0.8038	0.7779	0.8057
0.0201	63.0	189	1.1089	{'precision': 0.7358916478555305, 'recall': 0.8059332509270705, 'f1': 0.7693215339233038, 'number': 809}	{'precision': 0.41496598639455784, 'recall': 0.5126050420168067, 'f1': 0.4586466165413534, 'number': 119}	{'precision': 0.8154981549815498, 'recall': 0.8300469483568075, 'f1': 0.822708236389018, 'number': 1065}	0.7544	0.8013	0.7771	0.8046
0.02	64.0	192	1.1082	{'precision': 0.7456647398843931, 'recall': 0.7972805933250927, 'f1': 0.7706093189964157, 'number': 809}	{'precision': 0.4125874125874126, 'recall': 0.4957983193277311, 'f1': 0.450381679389313, 'number': 119}	{'precision': 0.8157653528872594, 'recall': 0.8356807511737089, 'f1': 0.8256029684601113, 'number': 1065}	0.7594	0.7998	0.7791	0.8020
0.02	65.0	195	1.1083	{'precision': 0.7396788990825688, 'recall': 0.7972805933250927, 'f1': 0.7674003569303985, 'number': 809}	{'precision': 0.39705882352941174, 'recall': 0.453781512605042, 'f1': 0.4235294117647058, 'number': 119}	{'precision': 0.7969723953695459, 'recall': 0.8403755868544601, 'f1': 0.8180987202925045, 'number': 1065}	0.7480	0.7998	0.7730	0.8013
0.0191	66.0	198	1.1049	{'precision': 0.7349943374858438, 'recall': 0.8022249690976514, 'f1': 0.7671394799054374, 'number': 809}	{'precision': 0.42028985507246375, 'recall': 0.48739495798319327, 'f1': 0.4513618677042802, 'number': 119}	{'precision': 0.8063063063063063, 'recall': 0.8403755868544601, 'f1': 0.8229885057471265, 'number': 1065}	0.7518	0.8038	0.7769	0.8036
0.0183	67.0	201	1.1034	{'precision': 0.7337078651685394, 'recall': 0.8071693448702101, 'f1': 0.768687463213655, 'number': 809}	{'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119}	{'precision': 0.8124428179322964, 'recall': 0.8338028169014085, 'f1': 0.8229842446709916, 'number': 1065}	0.7507	0.8038	0.7764	0.8049
0.0204	68.0	204	1.1038	{'precision': 0.732739420935412, 'recall': 0.8133498145859085, 'f1': 0.7709431751611013, 'number': 809}	{'precision': 0.3881578947368421, 'recall': 0.4957983193277311, 'f1': 0.4354243542435424, 'number': 119}	{'precision': 0.8106129917657823, 'recall': 0.831924882629108, 'f1': 0.8211306765523634, 'number': 1065}	0.7480	0.8043	0.7751	0.8053
0.0184	69.0	207	1.1015	{'precision': 0.7322222222222222, 'recall': 0.8145859085290482, 'f1': 0.7712112346401404, 'number': 809}	{'precision': 0.4244604316546763, 'recall': 0.4957983193277311, 'f1': 0.45736434108527135, 'number': 119}	{'precision': 0.8110808356039964, 'recall': 0.8384976525821596, 'f1': 0.8245614035087719, 'number': 1065}	0.7528	0.8083	0.7796	0.8067
0.0174	70.0	210	1.0981	{'precision': 0.7352941176470589, 'recall': 0.8034610630407911, 'f1': 0.7678676904902539, 'number': 809}	{'precision': 0.40939597315436244, 'recall': 0.5126050420168067, 'f1': 0.4552238805970149, 'number': 119}	{'precision': 0.8098271155595996, 'recall': 0.8356807511737089, 'f1': 0.822550831792976, 'number': 1065}	0.7509	0.8033	0.7762	0.8057
0.016	71.0	213	1.1055	{'precision': 0.7398190045248869, 'recall': 0.8084054388133498, 'f1': 0.7725930301240402, 'number': 809}	{'precision': 0.40606060606060607, 'recall': 0.5630252100840336, 'f1': 0.47183098591549294, 'number': 119}	{'precision': 0.815668202764977, 'recall': 0.8309859154929577, 'f1': 0.8232558139534883, 'number': 1065}	0.7526	0.8058	0.7783	0.8068
0.0156	72.0	216	1.1039	{'precision': 0.7370203160270881, 'recall': 0.8071693448702101, 'f1': 0.7705014749262538, 'number': 809}	{'precision': 0.4050632911392405, 'recall': 0.5378151260504201, 'f1': 0.46209386281588444, 'number': 119}	{'precision': 0.8098271155595996, 'recall': 0.8356807511737089, 'f1': 0.822550831792976, 'number': 1065}	0.7499	0.8063	0.7771	0.8082
0.0165	73.0	219	1.0998	{'precision': 0.7358916478555305, 'recall': 0.8059332509270705, 'f1': 0.7693215339233038, 'number': 809}	{'precision': 0.4357142857142857, 'recall': 0.5126050420168067, 'f1': 0.47104247104247104, 'number': 119}	{'precision': 0.8045045045045045, 'recall': 0.8384976525821596, 'f1': 0.8211494252873562, 'number': 1065}	0.7519	0.8058	0.7779	0.8082
0.0156	74.0	222	1.1038	{'precision': 0.7378531073446327, 'recall': 0.8071693448702101, 'f1': 0.7709563164108618, 'number': 809}	{'precision': 0.43703703703703706, 'recall': 0.4957983193277311, 'f1': 0.4645669291338583, 'number': 119}	{'precision': 0.8055805580558055, 'recall': 0.8403755868544601, 'f1': 0.8226102941176471, 'number': 1065}	0.7541	0.8063	0.7793	0.8077
0.0161	75.0	225	1.1180	{'precision': 0.7348993288590604, 'recall': 0.8121137206427689, 'f1': 0.7715795654726952, 'number': 809}	{'precision': 0.4305555555555556, 'recall': 0.5210084033613446, 'f1': 0.47148288973384034, 'number': 119}	{'precision': 0.8113035551504102, 'recall': 0.8356807511737089, 'f1': 0.8233117483811285, 'number': 1065}	0.7536	0.8073	0.7796	0.8053
0.0145	76.0	228	1.1341	{'precision': 0.734375, 'recall': 0.8133498145859085, 'f1': 0.7718475073313783, 'number': 809}	{'precision': 0.4125, 'recall': 0.5546218487394958, 'f1': 0.47311827956989244, 'number': 119}	{'precision': 0.8162511542012927, 'recall': 0.8300469483568075, 'f1': 0.8230912476722533, 'number': 1065}	0.7518	0.8068	0.7783	0.8047
0.0183	77.0	231	1.1368	{'precision': 0.7338530066815144, 'recall': 0.8145859085290482, 'f1': 0.7721148213239603, 'number': 809}	{'precision': 0.40764331210191085, 'recall': 0.5378151260504201, 'f1': 0.463768115942029, 'number': 119}	{'precision': 0.807832422586521, 'recall': 0.8328638497652582, 'f1': 0.820157189089228, 'number': 1065}	0.7478	0.8078	0.7767	0.8043
0.0151	78.0	234	1.1366	{'precision': 0.7323628219484882, 'recall': 0.8084054388133498, 'f1': 0.7685076380728554, 'number': 809}	{'precision': 0.41333333333333333, 'recall': 0.5210084033613446, 'f1': 0.4609665427509294, 'number': 119}	{'precision': 0.800718132854578, 'recall': 0.8375586854460094, 'f1': 0.8187241854061496, 'number': 1065}	0.7455	0.8068	0.7749	0.8021
0.0134	79.0	237	1.1315	{'precision': 0.7319819819819819, 'recall': 0.8034610630407911, 'f1': 0.7660577489687684, 'number': 809}	{'precision': 0.4154929577464789, 'recall': 0.4957983193277311, 'f1': 0.4521072796934866, 'number': 119}	{'precision': 0.7939609236234458, 'recall': 0.8394366197183099, 'f1': 0.8160657234139663, 'number': 1065}	0.7435	0.8043	0.7727	0.8025
0.0156	80.0	240	1.1281	{'precision': 0.7338618346545867, 'recall': 0.8009888751545118, 'f1': 0.7659574468085106, 'number': 809}	{'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119}	{'precision': 0.8057813911472448, 'recall': 0.8375586854460094, 'f1': 0.8213627992633518, 'number': 1065}	0.7480	0.8028	0.7744	0.8038
0.0125	81.0	243	1.1303	{'precision': 0.7341628959276018, 'recall': 0.8022249690976514, 'f1': 0.7666863555818074, 'number': 809}	{'precision': 0.41830065359477125, 'recall': 0.5378151260504201, 'f1': 0.47058823529411764, 'number': 119}	{'precision': 0.8065395095367848, 'recall': 0.8338028169014085, 'f1': 0.8199445983379502, 'number': 1065}	0.7488	0.8033	0.7751	0.8035
0.0141	82.0	246	1.1316	{'precision': 0.7320627802690582, 'recall': 0.8071693448702101, 'f1': 0.7677836566725456, 'number': 809}	{'precision': 0.41830065359477125, 'recall': 0.5378151260504201, 'f1': 0.47058823529411764, 'number': 119}	{'precision': 0.8054545454545454, 'recall': 0.831924882629108, 'f1': 0.8184757505773671, 'number': 1065}	0.7473	0.8043	0.7748	0.8038
0.0158	83.0	249	1.1313	{'precision': 0.7395715896279594, 'recall': 0.8108776266996292, 'f1': 0.7735849056603773, 'number': 809}	{'precision': 0.40131578947368424, 'recall': 0.5126050420168067, 'f1': 0.4501845018450184, 'number': 119}	{'precision': 0.8034420289855072, 'recall': 0.8328638497652582, 'f1': 0.8178884278469339, 'number': 1065}	0.7485	0.8048	0.7756	0.8055
0.0126	84.0	252	1.1293	{'precision': 0.7386877828054299, 'recall': 0.8071693448702101, 'f1': 0.7714116952155936, 'number': 809}	{'precision': 0.41216216216216217, 'recall': 0.5126050420168067, 'f1': 0.4569288389513108, 'number': 119}	{'precision': 0.8025247971145176, 'recall': 0.8356807511737089, 'f1': 0.8187672493100275, 'number': 1065}	0.7492	0.8048	0.7760	0.8055
0.0139	85.0	255	1.1277	{'precision': 0.7341628959276018, 'recall': 0.8022249690976514, 'f1': 0.7666863555818074, 'number': 809}	{'precision': 0.4041095890410959, 'recall': 0.4957983193277311, 'f1': 0.44528301886792454, 'number': 119}	{'precision': 0.8005415162454874, 'recall': 0.8328638497652582, 'f1': 0.8163828808099403, 'number': 1065}	0.7460	0.8003	0.7722	0.8057
0.0129	86.0	258	1.1275	{'precision': 0.7319004524886877, 'recall': 0.799752781211372, 'f1': 0.7643236857649144, 'number': 809}	{'precision': 0.4, 'recall': 0.48739495798319327, 'f1': 0.4393939393939394, 'number': 119}	{'precision': 0.8043478260869565, 'recall': 0.8338028169014085, 'f1': 0.8188105117565699, 'number': 1065}	0.7468	0.7993	0.7722	0.8046
0.0135	87.0	261	1.1298	{'precision': 0.7329545454545454, 'recall': 0.7972805933250927, 'f1': 0.7637655417406749, 'number': 809}	{'precision': 0.4097222222222222, 'recall': 0.4957983193277311, 'f1': 0.44866920152091255, 'number': 119}	{'precision': 0.8067150635208712, 'recall': 0.8347417840375587, 'f1': 0.8204891555145363, 'number': 1065}	0.7493	0.7993	0.7735	0.8041
0.0147	88.0	264	1.1335	{'precision': 0.7352272727272727, 'recall': 0.799752781211372, 'f1': 0.7661338069863826, 'number': 809}	{'precision': 0.4166666666666667, 'recall': 0.5042016806722689, 'f1': 0.4562737642585551, 'number': 119}	{'precision': 0.8083560399636693, 'recall': 0.8356807511737089, 'f1': 0.8217913204062788, 'number': 1065}	0.7515	0.8013	0.7756	0.8046
0.0136	89.0	267	1.1368	{'precision': 0.7377979568671964, 'recall': 0.8034610630407911, 'f1': 0.7692307692307694, 'number': 809}	{'precision': 0.40540540540540543, 'recall': 0.5042016806722689, 'f1': 0.449438202247191, 'number': 119}	{'precision': 0.8032490974729242, 'recall': 0.8356807511737089, 'f1': 0.8191440404970087, 'number': 1065}	0.7487	0.8028	0.7748	0.8057
0.0129	90.0	270	1.1411	{'precision': 0.7420814479638009, 'recall': 0.8108776266996292, 'f1': 0.7749556999409333, 'number': 809}	{'precision': 0.40268456375838924, 'recall': 0.5042016806722689, 'f1': 0.44776119402985076, 'number': 119}	{'precision': 0.801980198019802, 'recall': 0.8366197183098592, 'f1': 0.8189338235294118, 'number': 1065}	0.7495	0.8063	0.7769	0.8059
0.0131	91.0	273	1.1437	{'precision': 0.7406989853438557, 'recall': 0.8121137206427689, 'f1': 0.7747641509433963, 'number': 809}	{'precision': 0.4105960264900662, 'recall': 0.5210084033613446, 'f1': 0.45925925925925926, 'number': 119}	{'precision': 0.7946428571428571, 'recall': 0.8356807511737089, 'f1': 0.8146453089244852, 'number': 1065}	0.7456	0.8073	0.7752	0.8050
0.0128	92.0	276	1.1459	{'precision': 0.7370786516853932, 'recall': 0.8108776266996292, 'f1': 0.7722189523248971, 'number': 809}	{'precision': 0.40522875816993464, 'recall': 0.5210084033613446, 'f1': 0.4558823529411765, 'number': 119}	{'precision': 0.7911111111111111, 'recall': 0.8356807511737089, 'f1': 0.812785388127854, 'number': 1065}	0.7417	0.8068	0.7729	0.8049
0.0111	93.0	279	1.1463	{'precision': 0.7387387387387387, 'recall': 0.8108776266996292, 'f1': 0.7731290512669416, 'number': 809}	{'precision': 0.3935483870967742, 'recall': 0.5126050420168067, 'f1': 0.44525547445255476, 'number': 119}	{'precision': 0.791814946619217, 'recall': 0.8356807511737089, 'f1': 0.8131566925536775, 'number': 1065}	0.7416	0.8063	0.7726	0.8040
0.0129	94.0	282	1.1449	{'precision': 0.7381489841986456, 'recall': 0.8084054388133498, 'f1': 0.7716814159292036, 'number': 809}	{'precision': 0.3961038961038961, 'recall': 0.5126050420168067, 'f1': 0.44688644688644696, 'number': 119}	{'precision': 0.79375, 'recall': 0.8347417840375587, 'f1': 0.8137299771167047, 'number': 1065}	0.7426	0.8048	0.7725	0.8042
0.0139	95.0	285	1.1425	{'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809}	{'precision': 0.3961038961038961, 'recall': 0.5126050420168067, 'f1': 0.44688644688644696, 'number': 119}	{'precision': 0.7930419268510259, 'recall': 0.8347417840375587, 'f1': 0.8133577310155535, 'number': 1065}	0.7398	0.8033	0.7703	0.8032
0.0132	96.0	288	1.1416	{'precision': 0.7319819819819819, 'recall': 0.8034610630407911, 'f1': 0.7660577489687684, 'number': 809}	{'precision': 0.40131578947368424, 'recall': 0.5126050420168067, 'f1': 0.4501845018450184, 'number': 119}	{'precision': 0.7962466487935657, 'recall': 0.8366197183098592, 'f1': 0.8159340659340658, 'number': 1065}	0.7420	0.8038	0.7717	0.8045
0.0116	97.0	291	1.1405	{'precision': 0.7322834645669292, 'recall': 0.8046971569839307, 'f1': 0.7667844522968198, 'number': 809}	{'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119}	{'precision': 0.7978533094812165, 'recall': 0.8375586854460094, 'f1': 0.8172240036646817, 'number': 1065}	0.7433	0.8048	0.7728	0.8043
0.0124	98.0	294	1.1399	{'precision': 0.7331081081081081, 'recall': 0.8046971569839307, 'f1': 0.7672362993517973, 'number': 809}	{'precision': 0.40397350993377484, 'recall': 0.5126050420168067, 'f1': 0.45185185185185184, 'number': 119}	{'precision': 0.7978533094812165, 'recall': 0.8375586854460094, 'f1': 0.8172240036646817, 'number': 1065}	0.7436	0.8048	0.7730	0.8047
0.0114	99.0	297	1.1395	{'precision': 0.7331081081081081, 'recall': 0.8046971569839307, 'f1': 0.7672362993517973, 'number': 809}	{'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119}	{'precision': 0.7971403038427167, 'recall': 0.8375586854460094, 'f1': 0.8168498168498167, 'number': 1065}	0.7436	0.8048	0.7730	0.8052
0.0108	100.0	300	1.1395	{'precision': 0.733934611048478, 'recall': 0.8046971569839307, 'f1': 0.767688679245283, 'number': 809}	{'precision': 0.4066666666666667, 'recall': 0.5126050420168067, 'f1': 0.4535315985130111, 'number': 119}	{'precision': 0.7980339588918678, 'recall': 0.8384976525821596, 'f1': 0.8177655677655677, 'number': 1065}	0.7444	0.8053	0.7737	0.8054

Framework versions

• Transformers 4.22.0.dev0
• Pytorch 1.12.1+cu116
• Datasets 2.4.0
• Tokenizers 0.12.1