Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.3065

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 2
• eval_batch_size: 2
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.03
• num_epochs: 4

Training results

Training Loss	Epoch	Step	Validation Loss
0.189	2.1545	13000	0.2986
0.2052	2.1627	13050	0.2999
0.2068	2.1710	13100	0.2962
0.1851	2.1793	13150	0.2998
0.2012	2.1876	13200	0.2979
0.182	2.1959	13250	0.2975
0.2076	2.2042	13300	0.2975
0.1883	2.2125	13350	0.2966
0.1748	2.2207	13400	0.2962
0.1783	2.2290	13450	0.2982
0.1898	2.2373	13500	0.2976
0.2092	2.2456	13550	0.2966
0.1828	2.2539	13600	0.2955
0.1997	2.2622	13650	0.2974
0.1966	2.2705	13700	0.2975
0.2008	2.2788	13750	0.2955
0.2011	2.2870	13800	0.2946
0.1937	2.2953	13850	0.2979
0.2004	2.3036	13900	0.2956
0.1816	2.3119	13950	0.2971
0.1935	2.3202	14000	0.2957
0.1864	2.3285	14050	0.2962
0.1914	2.3368	14100	0.2945
0.1939	2.3450	14150	0.2948
0.1912	2.3533	14200	0.2954
0.1862	2.3616	14250	0.2956
0.1951	2.3699	14300	0.2950
0.1958	2.3782	14350	0.2942
0.1838	2.3865	14400	0.2940
0.2191	2.3948	14450	0.2941
0.1995	2.4030	14500	0.2922
0.1954	2.4113	14550	0.2952
0.1959	2.4196	14600	0.2969
0.1849	2.4279	14650	0.2934
0.1842	2.4362	14700	0.2938
0.1858	2.4445	14750	0.2943
0.1827	2.4528	14800	0.2942
0.198	2.4611	14850	0.2921
0.2311	2.4693	14900	0.2951
0.2	2.4776	14950	0.2932
0.1871	2.4859	15000	0.2935
0.1833	2.4942	15050	0.2947
0.2216	2.5025	15100	0.2921
0.1829	2.5108	15150	0.2924
0.1772	2.5191	15200	0.2916
0.1806	2.5273	15250	0.2930
0.2089	2.5356	15300	0.2920
0.216	2.5439	15350	0.2922
0.1763	2.5522	15400	0.2908
0.1835	2.5605	15450	0.2924
0.1928	2.5688	15500	0.2925
0.1982	2.5771	15550	0.2895
0.195	2.5853	15600	0.2907
0.1791	2.5936	15650	0.2904
0.1782	2.6019	15700	0.2915
0.1871	2.6102	15750	0.2898
0.1892	2.6185	15800	0.2916
0.1921	2.6268	15850	0.2914
0.1799	2.6351	15900	0.2890
0.1923	2.6434	15950	0.2870
0.2109	2.6516	16000	0.2910
0.2088	2.6599	16050	0.2890
0.1968	2.6682	16100	0.2880
0.1938	2.6765	16150	0.2904
0.1839	2.6848	16200	0.2921
0.1764	2.6931	16250	0.2907
0.1696	2.7014	16300	0.2897
0.2276	2.7096	16350	0.2892
0.1968	2.7179	16400	0.2875
0.1991	2.7262	16450	0.2884
0.1683	2.7345	16500	0.2883
0.1765	2.7428	16550	0.2879
0.1988	2.7511	16600	0.2883
0.1921	2.7594	16650	0.2887
0.1799	2.7676	16700	0.2894
0.1907	2.7759	16750	0.2895
0.1805	2.7842	16800	0.2894
0.1595	2.7925	16850	0.2884
0.1758	2.8008	16900	0.2870
0.1768	2.8091	16950	0.2868
0.2019	2.8174	17000	0.2859
0.1985	2.8257	17050	0.2868
0.2022	2.8339	17100	0.2865
0.213	2.8422	17150	0.2858
0.1809	2.8505	17200	0.2859
0.1735	2.8588	17250	0.2868
0.1929	2.8671	17300	0.2866
0.1908	2.8754	17350	0.2862
0.2051	2.8837	17400	0.2857
0.1711	2.8919	17450	0.2863
0.1926	2.9002	17500	0.2863
0.1923	2.9085	17550	0.2847
0.198	2.9168	17600	0.2870
0.1882	2.9251	17650	0.2872
0.1932	2.9334	17700	0.2846
0.1839	2.9417	17750	0.2852
0.2221	2.9500	17800	0.2836
0.1874	2.9582	17850	0.2844
0.1677	2.9665	17900	0.2851
0.1802	2.9748	17950	0.2832
0.1873	2.9831	18000	0.2846
0.187	2.9914	18050	0.2856
0.1837	2.9997	18100	0.2866
0.1303	3.0080	18150	0.3016
0.125	3.0162	18200	0.3052
0.1264	3.0245	18250	0.3051
0.1199	3.0328	18300	0.3092
0.1403	3.0411	18350	0.3044
0.128	3.0494	18400	0.3089
0.1466	3.0577	18450	0.3043
0.1307	3.0660	18500	0.3046
0.135	3.0742	18550	0.3071
0.1282	3.0825	18600	0.3053
0.1343	3.0908	18650	0.3073
0.1211	3.0991	18700	0.3069
0.1382	3.1074	18750	0.3058
0.1347	3.1157	18800	0.3064
0.1246	3.1240	18850	0.3087
0.1278	3.1323	18900	0.3075
0.1233	3.1405	18950	0.3083
0.1393	3.1488	19000	0.3069
0.124	3.1571	19050	0.3049
0.138	3.1654	19100	0.3064
0.1355	3.1737	19150	0.3073
0.1401	3.1820	19200	0.3084
0.1196	3.1903	19250	0.3107
0.1248	3.1985	19300	0.3088
0.1342	3.2068	19350	0.3077
0.1436	3.2151	19400	0.3062
0.1467	3.2234	19450	0.3079
0.1246	3.2317	19500	0.3095
0.1293	3.2400	19550	0.3068
0.1236	3.2483	19600	0.3100
0.1385	3.2565	19650	0.3074
0.1194	3.2648	19700	0.3068
0.1283	3.2731	19750	0.3077
0.1412	3.2814	19800	0.3064
0.1209	3.2897	19850	0.3070
0.145	3.2980	19900	0.3068
0.1416	3.3063	19950	0.3052
0.1138	3.3146	20000	0.3057
0.1296	3.3228	20050	0.3076
0.1419	3.3311	20100	0.3093
0.1243	3.3394	20150	0.3083
0.1206	3.3477	20200	0.3082
0.1279	3.3560	20250	0.3070
0.13	3.3643	20300	0.3070
0.1284	3.3726	20350	0.3064
0.1259	3.3808	20400	0.3074
0.1255	3.3891	20450	0.3052
0.1227	3.3974	20500	0.3062
0.1381	3.4057	20550	0.3066
0.1304	3.4140	20600	0.3065
0.1388	3.4223	20650	0.3071
0.1227	3.4306	20700	0.3065
0.1185	3.4388	20750	0.3062
0.1289	3.4471	20800	0.3083
0.1367	3.4554	20850	0.3089
0.1241	3.4637	20900	0.3070
0.1137	3.4720	20950	0.3092
0.1177	3.4803	21000	0.3080
0.1369	3.4886	21050	0.3073
0.126	3.4969	21100	0.3072
0.1174	3.5051	21150	0.3074
0.1235	3.5134	21200	0.3077
0.1297	3.5217	21250	0.3068
0.1377	3.5300	21300	0.3078
0.1215	3.5383	21350	0.3062
0.1358	3.5466	21400	0.3069
0.1123	3.5549	21450	0.3076
0.1358	3.5631	21500	0.3080
0.1396	3.5714	21550	0.3061
0.1216	3.5797	21600	0.3075
0.1162	3.5880	21650	0.3081
0.128	3.5963	21700	0.3061
0.1173	3.6046	21750	0.3070
0.125	3.6129	21800	0.3065
0.1262	3.6211	21850	0.3077
0.1249	3.6294	21900	0.3073
0.1212	3.6377	21950	0.3071
0.1188	3.6460	22000	0.3065
0.1241	3.6543	22050	0.3054
0.1302	3.6626	22100	0.3064
0.1329	3.6709	22150	0.3055
0.1276	3.6792	22200	0.3059
0.1336	3.6874	22250	0.3082
0.1173	3.6957	22300	0.3091
0.1205	3.7040	22350	0.3075
0.1196	3.7123	22400	0.3080
0.1128	3.7206	22450	0.3066
0.1188	3.7289	22500	0.3079
0.1154	3.7372	22550	0.3076
0.135	3.7454	22600	0.3076
0.1341	3.7537	22650	0.3067
0.1396	3.7620	22700	0.3062
0.1336	3.7703	22750	0.3059
0.1295	3.7786	22800	0.3066
0.1226	3.7869	22850	0.3068
0.1299	3.7952	22900	0.3067
0.1355	3.8034	22950	0.3068
0.1197	3.8117	23000	0.3069
0.1196	3.8200	23050	0.3075
0.1413	3.8283	23100	0.3066
0.1377	3.8366	23150	0.3064
0.1082	3.8449	23200	0.3074
0.129	3.8532	23250	0.3074
0.1279	3.8615	23300	0.3073
0.1296	3.8697	23350	0.3064
0.121	3.8780	23400	0.3072
0.1267	3.8863	23450	0.3069
0.1224	3.8946	23500	0.3071
0.1187	3.9029	23550	0.3073
0.1264	3.9112	23600	0.3074
0.1252	3.9195	23650	0.3073
0.1279	3.9277	23700	0.3072
0.1262	3.9360	23750	0.3070
0.1255	3.9443	23800	0.3068
0.1227	3.9526	23850	0.3066
0.1285	3.9609	23900	0.3068
0.1225	3.9692	23950	0.3068
0.1302	3.9775	24000	0.3066
0.1501	3.9857	24050	0.3065
0.126	3.9940	24100	0.3065

Framework versions

• PEFT 0.12.0
• Transformers 4.44.2
• Pytorch 2.4.0+cu121
• Datasets 3.0.0
• Tokenizers 0.19.1