| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 88.88888888888889, | |
| "eval_steps": 500, | |
| "global_step": 300, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.5925925925925926, | |
| "grad_norm": 1.1163033246994019, | |
| "learning_rate": 0.00019866666666666668, | |
| "loss": 9.4668, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 1.1851851851851851, | |
| "grad_norm": 1.425911545753479, | |
| "learning_rate": 0.00019733333333333335, | |
| "loss": 9.0823, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 1.7777777777777777, | |
| "grad_norm": 2.424699306488037, | |
| "learning_rate": 0.000196, | |
| "loss": 8.4419, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 2.3703703703703702, | |
| "grad_norm": 1.212578296661377, | |
| "learning_rate": 0.0001946666666666667, | |
| "loss": 7.7733, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 2.962962962962963, | |
| "grad_norm": 0.8305346369743347, | |
| "learning_rate": 0.00019333333333333333, | |
| "loss": 7.4971, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 3.5555555555555554, | |
| "grad_norm": 0.8033053278923035, | |
| "learning_rate": 0.000192, | |
| "loss": 7.3807, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 4.148148148148148, | |
| "grad_norm": 3.845942735671997, | |
| "learning_rate": 0.00019066666666666668, | |
| "loss": 7.3563, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 4.7407407407407405, | |
| "grad_norm": 0.9991735816001892, | |
| "learning_rate": 0.00018933333333333335, | |
| "loss": 7.3109, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 5.333333333333333, | |
| "grad_norm": 0.6197293996810913, | |
| "learning_rate": 0.000188, | |
| "loss": 7.3146, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 5.925925925925926, | |
| "grad_norm": 1.009669303894043, | |
| "learning_rate": 0.0001866666666666667, | |
| "loss": 7.2606, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 6.518518518518518, | |
| "grad_norm": 0.5631170272827148, | |
| "learning_rate": 0.00018533333333333333, | |
| "loss": 7.2379, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 7.111111111111111, | |
| "grad_norm": 0.43320146203041077, | |
| "learning_rate": 0.00018400000000000003, | |
| "loss": 7.2492, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 7.703703703703704, | |
| "grad_norm": 0.8535244464874268, | |
| "learning_rate": 0.00018266666666666667, | |
| "loss": 7.1952, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 8.296296296296296, | |
| "grad_norm": 0.6527417898178101, | |
| "learning_rate": 0.00018133333333333334, | |
| "loss": 7.2174, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 8.88888888888889, | |
| "grad_norm": 0.5612525343894958, | |
| "learning_rate": 0.00018, | |
| "loss": 7.1688, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 9.481481481481481, | |
| "grad_norm": 0.3649216890335083, | |
| "learning_rate": 0.00017866666666666668, | |
| "loss": 7.1811, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 10.074074074074074, | |
| "grad_norm": 0.5294764041900635, | |
| "learning_rate": 0.00017733333333333335, | |
| "loss": 7.1783, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 10.666666666666666, | |
| "grad_norm": 0.5044239163398743, | |
| "learning_rate": 0.00017600000000000002, | |
| "loss": 7.1704, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 11.25925925925926, | |
| "grad_norm": 0.6351197361946106, | |
| "learning_rate": 0.00017466666666666667, | |
| "loss": 7.1459, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 11.851851851851851, | |
| "grad_norm": 0.2996167540550232, | |
| "learning_rate": 0.00017333333333333334, | |
| "loss": 7.15, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 12.444444444444445, | |
| "grad_norm": 0.455130934715271, | |
| "learning_rate": 0.000172, | |
| "loss": 7.1842, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 13.037037037037036, | |
| "grad_norm": 0.5256868600845337, | |
| "learning_rate": 0.00017066666666666668, | |
| "loss": 7.1539, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 13.62962962962963, | |
| "grad_norm": 0.23306187987327576, | |
| "learning_rate": 0.00016933333333333335, | |
| "loss": 7.1274, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 14.222222222222221, | |
| "grad_norm": 0.25170931220054626, | |
| "learning_rate": 0.000168, | |
| "loss": 7.1255, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 14.814814814814815, | |
| "grad_norm": 0.29683974385261536, | |
| "learning_rate": 0.0001666666666666667, | |
| "loss": 7.1123, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 15.407407407407407, | |
| "grad_norm": 0.23520629107952118, | |
| "learning_rate": 0.00016533333333333333, | |
| "loss": 7.1377, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "grad_norm": 0.28643372654914856, | |
| "learning_rate": 0.000164, | |
| "loss": 7.1459, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 16.59259259259259, | |
| "grad_norm": 0.257795512676239, | |
| "learning_rate": 0.00016266666666666667, | |
| "loss": 7.1356, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 17.185185185185187, | |
| "grad_norm": 0.429888516664505, | |
| "learning_rate": 0.00016133333333333334, | |
| "loss": 7.1062, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 17.77777777777778, | |
| "grad_norm": 0.3385695517063141, | |
| "learning_rate": 0.00016, | |
| "loss": 7.1335, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 18.37037037037037, | |
| "grad_norm": 0.49250373244285583, | |
| "learning_rate": 0.00015866666666666668, | |
| "loss": 7.1444, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 18.962962962962962, | |
| "grad_norm": 0.3121712803840637, | |
| "learning_rate": 0.00015733333333333333, | |
| "loss": 7.1013, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 19.555555555555557, | |
| "grad_norm": 0.2597944736480713, | |
| "learning_rate": 0.00015600000000000002, | |
| "loss": 7.1288, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 20.14814814814815, | |
| "grad_norm": 0.36070841550827026, | |
| "learning_rate": 0.00015466666666666667, | |
| "loss": 7.0916, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 20.74074074074074, | |
| "grad_norm": 0.2968205213546753, | |
| "learning_rate": 0.00015333333333333334, | |
| "loss": 7.1415, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 21.333333333333332, | |
| "grad_norm": 0.30148717761039734, | |
| "learning_rate": 0.000152, | |
| "loss": 7.1085, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 21.925925925925927, | |
| "grad_norm": 0.27731791138648987, | |
| "learning_rate": 0.00015066666666666668, | |
| "loss": 7.0804, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 22.51851851851852, | |
| "grad_norm": 0.2718786895275116, | |
| "learning_rate": 0.00014933333333333335, | |
| "loss": 7.1088, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 23.11111111111111, | |
| "grad_norm": 0.3204849064350128, | |
| "learning_rate": 0.000148, | |
| "loss": 7.1252, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 23.703703703703702, | |
| "grad_norm": 0.5553656816482544, | |
| "learning_rate": 0.00014666666666666666, | |
| "loss": 7.1295, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 24.296296296296298, | |
| "grad_norm": 0.23519161343574524, | |
| "learning_rate": 0.00014533333333333333, | |
| "loss": 7.0777, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 24.88888888888889, | |
| "grad_norm": 0.2118391990661621, | |
| "learning_rate": 0.000144, | |
| "loss": 7.114, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 25.48148148148148, | |
| "grad_norm": 0.2719348073005676, | |
| "learning_rate": 0.00014266666666666667, | |
| "loss": 7.064, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 26.074074074074073, | |
| "grad_norm": 0.5637098550796509, | |
| "learning_rate": 0.00014133333333333334, | |
| "loss": 7.0958, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 26.666666666666668, | |
| "grad_norm": 0.27914977073669434, | |
| "learning_rate": 0.00014, | |
| "loss": 7.106, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 27.25925925925926, | |
| "grad_norm": 0.2912416458129883, | |
| "learning_rate": 0.00013866666666666669, | |
| "loss": 7.0639, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 27.85185185185185, | |
| "grad_norm": 0.34146106243133545, | |
| "learning_rate": 0.00013733333333333333, | |
| "loss": 7.0884, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 28.444444444444443, | |
| "grad_norm": 0.33386680483818054, | |
| "learning_rate": 0.00013600000000000003, | |
| "loss": 7.0684, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 29.037037037037038, | |
| "grad_norm": 0.3326421082019806, | |
| "learning_rate": 0.00013466666666666667, | |
| "loss": 7.0964, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 29.62962962962963, | |
| "grad_norm": 0.3502521812915802, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 7.0689, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 30.22222222222222, | |
| "grad_norm": 0.44384950399398804, | |
| "learning_rate": 0.000132, | |
| "loss": 7.1064, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 30.814814814814813, | |
| "grad_norm": 0.25356554985046387, | |
| "learning_rate": 0.00013066666666666668, | |
| "loss": 7.0036, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 31.40740740740741, | |
| "grad_norm": 0.5989307761192322, | |
| "learning_rate": 0.00012933333333333332, | |
| "loss": 7.052, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 32.0, | |
| "grad_norm": 0.4631653428077698, | |
| "learning_rate": 0.00012800000000000002, | |
| "loss": 7.0648, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 32.592592592592595, | |
| "grad_norm": 0.4731331765651703, | |
| "learning_rate": 0.00012666666666666666, | |
| "loss": 7.0383, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 33.18518518518518, | |
| "grad_norm": 0.45035529136657715, | |
| "learning_rate": 0.00012533333333333334, | |
| "loss": 7.0313, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 33.77777777777778, | |
| "grad_norm": 0.5989257097244263, | |
| "learning_rate": 0.000124, | |
| "loss": 7.041, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 34.370370370370374, | |
| "grad_norm": 0.343650758266449, | |
| "learning_rate": 0.00012266666666666668, | |
| "loss": 7.026, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 34.96296296296296, | |
| "grad_norm": 0.590638279914856, | |
| "learning_rate": 0.00012133333333333335, | |
| "loss": 6.9677, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 35.55555555555556, | |
| "grad_norm": 0.2972383499145508, | |
| "learning_rate": 0.00012, | |
| "loss": 7.0155, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 36.148148148148145, | |
| "grad_norm": 0.3338168263435364, | |
| "learning_rate": 0.00011866666666666669, | |
| "loss": 6.983, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 36.74074074074074, | |
| "grad_norm": 0.3315087556838989, | |
| "learning_rate": 0.00011733333333333334, | |
| "loss": 6.984, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 37.333333333333336, | |
| "grad_norm": 0.3803921043872833, | |
| "learning_rate": 0.000116, | |
| "loss": 6.9513, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 37.925925925925924, | |
| "grad_norm": 0.30538955330848694, | |
| "learning_rate": 0.00011466666666666667, | |
| "loss": 6.9855, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 38.51851851851852, | |
| "grad_norm": 0.40353822708129883, | |
| "learning_rate": 0.00011333333333333334, | |
| "loss": 6.9897, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 39.111111111111114, | |
| "grad_norm": 0.6115885376930237, | |
| "learning_rate": 0.00011200000000000001, | |
| "loss": 6.9218, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 39.7037037037037, | |
| "grad_norm": 0.28869739174842834, | |
| "learning_rate": 0.00011066666666666667, | |
| "loss": 6.9622, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 40.2962962962963, | |
| "grad_norm": 0.3805200159549713, | |
| "learning_rate": 0.00010933333333333333, | |
| "loss": 6.9816, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 40.888888888888886, | |
| "grad_norm": 0.36297807097435, | |
| "learning_rate": 0.00010800000000000001, | |
| "loss": 6.9873, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 41.48148148148148, | |
| "grad_norm": 0.3792608976364136, | |
| "learning_rate": 0.00010666666666666667, | |
| "loss": 6.8915, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 42.074074074074076, | |
| "grad_norm": 0.2735055387020111, | |
| "learning_rate": 0.00010533333333333332, | |
| "loss": 6.9772, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 42.666666666666664, | |
| "grad_norm": 0.35412636399269104, | |
| "learning_rate": 0.00010400000000000001, | |
| "loss": 6.954, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 43.25925925925926, | |
| "grad_norm": 0.3302370309829712, | |
| "learning_rate": 0.00010266666666666666, | |
| "loss": 6.965, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 43.851851851851855, | |
| "grad_norm": 0.29985830187797546, | |
| "learning_rate": 0.00010133333333333335, | |
| "loss": 6.8945, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 44.44444444444444, | |
| "grad_norm": 0.3694826662540436, | |
| "learning_rate": 0.0001, | |
| "loss": 6.967, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 45.03703703703704, | |
| "grad_norm": 0.47233468294143677, | |
| "learning_rate": 9.866666666666668e-05, | |
| "loss": 6.9127, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 45.629629629629626, | |
| "grad_norm": 0.5593206882476807, | |
| "learning_rate": 9.733333333333335e-05, | |
| "loss": 6.9416, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 46.22222222222222, | |
| "grad_norm": 0.394751638174057, | |
| "learning_rate": 9.6e-05, | |
| "loss": 6.9454, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 46.81481481481482, | |
| "grad_norm": 0.4355928301811218, | |
| "learning_rate": 9.466666666666667e-05, | |
| "loss": 6.8974, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 47.407407407407405, | |
| "grad_norm": 0.35822367668151855, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 6.8892, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 48.0, | |
| "grad_norm": 0.308445006608963, | |
| "learning_rate": 9.200000000000001e-05, | |
| "loss": 6.9342, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 48.592592592592595, | |
| "grad_norm": 0.35728952288627625, | |
| "learning_rate": 9.066666666666667e-05, | |
| "loss": 6.9288, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 49.18518518518518, | |
| "grad_norm": 0.43391701579093933, | |
| "learning_rate": 8.933333333333334e-05, | |
| "loss": 6.8686, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 49.77777777777778, | |
| "grad_norm": 0.30853429436683655, | |
| "learning_rate": 8.800000000000001e-05, | |
| "loss": 6.8981, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 50.370370370370374, | |
| "grad_norm": 0.3625751733779907, | |
| "learning_rate": 8.666666666666667e-05, | |
| "loss": 6.9419, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 50.96296296296296, | |
| "grad_norm": 0.5588239431381226, | |
| "learning_rate": 8.533333333333334e-05, | |
| "loss": 6.8766, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 51.55555555555556, | |
| "grad_norm": 0.3780020773410797, | |
| "learning_rate": 8.4e-05, | |
| "loss": 6.9036, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 52.148148148148145, | |
| "grad_norm": 0.45161235332489014, | |
| "learning_rate": 8.266666666666667e-05, | |
| "loss": 6.859, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 52.74074074074074, | |
| "grad_norm": 0.5549281239509583, | |
| "learning_rate": 8.133333333333334e-05, | |
| "loss": 6.9217, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 53.333333333333336, | |
| "grad_norm": 0.402111679315567, | |
| "learning_rate": 8e-05, | |
| "loss": 6.8201, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 53.925925925925924, | |
| "grad_norm": 0.6168720126152039, | |
| "learning_rate": 7.866666666666666e-05, | |
| "loss": 6.8931, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 54.51851851851852, | |
| "grad_norm": 0.4086914658546448, | |
| "learning_rate": 7.733333333333333e-05, | |
| "loss": 6.8765, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 55.111111111111114, | |
| "grad_norm": 0.5517032742500305, | |
| "learning_rate": 7.6e-05, | |
| "loss": 6.8383, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 55.7037037037037, | |
| "grad_norm": 0.5297678709030151, | |
| "learning_rate": 7.466666666666667e-05, | |
| "loss": 6.8672, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 56.2962962962963, | |
| "grad_norm": 0.631600558757782, | |
| "learning_rate": 7.333333333333333e-05, | |
| "loss": 6.8294, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 56.888888888888886, | |
| "grad_norm": 0.49404507875442505, | |
| "learning_rate": 7.2e-05, | |
| "loss": 6.8935, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 57.48148148148148, | |
| "grad_norm": 0.481528639793396, | |
| "learning_rate": 7.066666666666667e-05, | |
| "loss": 6.8042, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 58.074074074074076, | |
| "grad_norm": 0.5400975346565247, | |
| "learning_rate": 6.933333333333334e-05, | |
| "loss": 6.8709, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 58.666666666666664, | |
| "grad_norm": 0.4293084144592285, | |
| "learning_rate": 6.800000000000001e-05, | |
| "loss": 6.8499, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 59.25925925925926, | |
| "grad_norm": 0.5165616869926453, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 6.7858, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 59.851851851851855, | |
| "grad_norm": 0.5175669193267822, | |
| "learning_rate": 6.533333333333334e-05, | |
| "loss": 6.8937, | |
| "step": 202 | |
| }, | |
| { | |
| "epoch": 60.44444444444444, | |
| "grad_norm": 0.7221832871437073, | |
| "learning_rate": 6.400000000000001e-05, | |
| "loss": 6.765, | |
| "step": 204 | |
| }, | |
| { | |
| "epoch": 61.03703703703704, | |
| "grad_norm": 0.8313772678375244, | |
| "learning_rate": 6.266666666666667e-05, | |
| "loss": 6.8362, | |
| "step": 206 | |
| }, | |
| { | |
| "epoch": 61.629629629629626, | |
| "grad_norm": 0.7931641936302185, | |
| "learning_rate": 6.133333333333334e-05, | |
| "loss": 6.8098, | |
| "step": 208 | |
| }, | |
| { | |
| "epoch": 62.22222222222222, | |
| "grad_norm": 0.5043908953666687, | |
| "learning_rate": 6e-05, | |
| "loss": 6.8255, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 62.81481481481482, | |
| "grad_norm": 0.4870869815349579, | |
| "learning_rate": 5.866666666666667e-05, | |
| "loss": 6.7643, | |
| "step": 212 | |
| }, | |
| { | |
| "epoch": 63.407407407407405, | |
| "grad_norm": 0.5162374377250671, | |
| "learning_rate": 5.7333333333333336e-05, | |
| "loss": 6.7948, | |
| "step": 214 | |
| }, | |
| { | |
| "epoch": 64.0, | |
| "grad_norm": 0.6275418996810913, | |
| "learning_rate": 5.6000000000000006e-05, | |
| "loss": 6.8426, | |
| "step": 216 | |
| }, | |
| { | |
| "epoch": 64.5925925925926, | |
| "grad_norm": 0.7189266085624695, | |
| "learning_rate": 5.466666666666666e-05, | |
| "loss": 6.801, | |
| "step": 218 | |
| }, | |
| { | |
| "epoch": 65.18518518518519, | |
| "grad_norm": 0.6130979061126709, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 6.7953, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 65.77777777777777, | |
| "grad_norm": 0.6243385076522827, | |
| "learning_rate": 5.2000000000000004e-05, | |
| "loss": 6.8133, | |
| "step": 222 | |
| }, | |
| { | |
| "epoch": 66.37037037037037, | |
| "grad_norm": 0.5095885396003723, | |
| "learning_rate": 5.0666666666666674e-05, | |
| "loss": 6.735, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 66.96296296296296, | |
| "grad_norm": 0.5509920120239258, | |
| "learning_rate": 4.933333333333334e-05, | |
| "loss": 6.7936, | |
| "step": 226 | |
| }, | |
| { | |
| "epoch": 67.55555555555556, | |
| "grad_norm": 0.5054379105567932, | |
| "learning_rate": 4.8e-05, | |
| "loss": 6.8022, | |
| "step": 228 | |
| }, | |
| { | |
| "epoch": 68.14814814814815, | |
| "grad_norm": 0.47371557354927063, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 6.7492, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 68.74074074074075, | |
| "grad_norm": 0.6544865369796753, | |
| "learning_rate": 4.5333333333333335e-05, | |
| "loss": 6.743, | |
| "step": 232 | |
| }, | |
| { | |
| "epoch": 69.33333333333333, | |
| "grad_norm": 0.5901875495910645, | |
| "learning_rate": 4.4000000000000006e-05, | |
| "loss": 6.7843, | |
| "step": 234 | |
| }, | |
| { | |
| "epoch": 69.92592592592592, | |
| "grad_norm": 0.7686258554458618, | |
| "learning_rate": 4.266666666666667e-05, | |
| "loss": 6.7741, | |
| "step": 236 | |
| }, | |
| { | |
| "epoch": 70.51851851851852, | |
| "grad_norm": 0.7366913557052612, | |
| "learning_rate": 4.133333333333333e-05, | |
| "loss": 6.8197, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 71.11111111111111, | |
| "grad_norm": 0.766461193561554, | |
| "learning_rate": 4e-05, | |
| "loss": 6.7279, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 71.70370370370371, | |
| "grad_norm": 0.490669846534729, | |
| "learning_rate": 3.866666666666667e-05, | |
| "loss": 6.7126, | |
| "step": 242 | |
| }, | |
| { | |
| "epoch": 72.29629629629629, | |
| "grad_norm": 0.48538145422935486, | |
| "learning_rate": 3.733333333333334e-05, | |
| "loss": 6.7905, | |
| "step": 244 | |
| }, | |
| { | |
| "epoch": 72.88888888888889, | |
| "grad_norm": 0.6366562843322754, | |
| "learning_rate": 3.6e-05, | |
| "loss": 6.7536, | |
| "step": 246 | |
| }, | |
| { | |
| "epoch": 73.48148148148148, | |
| "grad_norm": 0.6682734489440918, | |
| "learning_rate": 3.466666666666667e-05, | |
| "loss": 6.7645, | |
| "step": 248 | |
| }, | |
| { | |
| "epoch": 74.07407407407408, | |
| "grad_norm": 0.567694365978241, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 6.7639, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 74.66666666666667, | |
| "grad_norm": 0.9412761926651001, | |
| "learning_rate": 3.2000000000000005e-05, | |
| "loss": 6.775, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 75.25925925925925, | |
| "grad_norm": 0.5728178024291992, | |
| "learning_rate": 3.066666666666667e-05, | |
| "loss": 6.7135, | |
| "step": 254 | |
| }, | |
| { | |
| "epoch": 75.85185185185185, | |
| "grad_norm": 0.9402245283126831, | |
| "learning_rate": 2.9333333333333336e-05, | |
| "loss": 6.7544, | |
| "step": 256 | |
| }, | |
| { | |
| "epoch": 76.44444444444444, | |
| "grad_norm": 0.7118487358093262, | |
| "learning_rate": 2.8000000000000003e-05, | |
| "loss": 6.7176, | |
| "step": 258 | |
| }, | |
| { | |
| "epoch": 77.03703703703704, | |
| "grad_norm": 0.4853314459323883, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 6.7611, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 77.62962962962963, | |
| "grad_norm": 0.6417144536972046, | |
| "learning_rate": 2.5333333333333337e-05, | |
| "loss": 6.717, | |
| "step": 262 | |
| }, | |
| { | |
| "epoch": 78.22222222222223, | |
| "grad_norm": 0.5589461326599121, | |
| "learning_rate": 2.4e-05, | |
| "loss": 6.7595, | |
| "step": 264 | |
| }, | |
| { | |
| "epoch": 78.81481481481481, | |
| "grad_norm": 0.5889849066734314, | |
| "learning_rate": 2.2666666666666668e-05, | |
| "loss": 6.7565, | |
| "step": 266 | |
| }, | |
| { | |
| "epoch": 79.4074074074074, | |
| "grad_norm": 0.5472981929779053, | |
| "learning_rate": 2.1333333333333335e-05, | |
| "loss": 6.7011, | |
| "step": 268 | |
| }, | |
| { | |
| "epoch": 80.0, | |
| "grad_norm": 0.5525985360145569, | |
| "learning_rate": 2e-05, | |
| "loss": 6.7598, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 80.5925925925926, | |
| "grad_norm": 0.4396687150001526, | |
| "learning_rate": 1.866666666666667e-05, | |
| "loss": 6.6816, | |
| "step": 272 | |
| }, | |
| { | |
| "epoch": 81.18518518518519, | |
| "grad_norm": 0.6968480348587036, | |
| "learning_rate": 1.7333333333333336e-05, | |
| "loss": 6.7742, | |
| "step": 274 | |
| }, | |
| { | |
| "epoch": 81.77777777777777, | |
| "grad_norm": 0.5847198367118835, | |
| "learning_rate": 1.6000000000000003e-05, | |
| "loss": 6.7333, | |
| "step": 276 | |
| }, | |
| { | |
| "epoch": 82.37037037037037, | |
| "grad_norm": 0.5231955051422119, | |
| "learning_rate": 1.4666666666666668e-05, | |
| "loss": 6.7322, | |
| "step": 278 | |
| }, | |
| { | |
| "epoch": 82.96296296296296, | |
| "grad_norm": 0.5923711061477661, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 6.7239, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 83.55555555555556, | |
| "grad_norm": 0.5088356733322144, | |
| "learning_rate": 1.2e-05, | |
| "loss": 6.6755, | |
| "step": 282 | |
| }, | |
| { | |
| "epoch": 84.14814814814815, | |
| "grad_norm": 0.6190967559814453, | |
| "learning_rate": 1.0666666666666667e-05, | |
| "loss": 6.7584, | |
| "step": 284 | |
| }, | |
| { | |
| "epoch": 84.74074074074075, | |
| "grad_norm": 0.6652739644050598, | |
| "learning_rate": 9.333333333333334e-06, | |
| "loss": 6.7277, | |
| "step": 286 | |
| }, | |
| { | |
| "epoch": 85.33333333333333, | |
| "grad_norm": 0.47861433029174805, | |
| "learning_rate": 8.000000000000001e-06, | |
| "loss": 6.727, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 85.92592592592592, | |
| "grad_norm": 0.6492753028869629, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 6.7493, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 86.51851851851852, | |
| "grad_norm": 0.6098214387893677, | |
| "learning_rate": 5.333333333333334e-06, | |
| "loss": 6.743, | |
| "step": 292 | |
| }, | |
| { | |
| "epoch": 87.11111111111111, | |
| "grad_norm": 0.7383063435554504, | |
| "learning_rate": 4.000000000000001e-06, | |
| "loss": 6.6815, | |
| "step": 294 | |
| }, | |
| { | |
| "epoch": 87.70370370370371, | |
| "grad_norm": 0.5331122875213623, | |
| "learning_rate": 2.666666666666667e-06, | |
| "loss": 6.7217, | |
| "step": 296 | |
| }, | |
| { | |
| "epoch": 88.29629629629629, | |
| "grad_norm": 0.5590977072715759, | |
| "learning_rate": 1.3333333333333334e-06, | |
| "loss": 6.7976, | |
| "step": 298 | |
| }, | |
| { | |
| "epoch": 88.88888888888889, | |
| "grad_norm": 0.5351722240447998, | |
| "learning_rate": 0.0, | |
| "loss": 6.6892, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 88.88888888888889, | |
| "step": 300, | |
| "total_flos": 1367726624209296.0, | |
| "train_loss": 6.992811314264933, | |
| "train_runtime": 4397.2924, | |
| "train_samples_per_second": 1.228, | |
| "train_steps_per_second": 0.068 | |
| } | |
| ], | |
| "logging_steps": 2, | |
| "max_steps": 300, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 100, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1367726624209296.0, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |