| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.01953125, | |
| "eval_steps": 500, | |
| "global_step": 200, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 9.765625e-05, | |
| "grad_norm": 13.125093460083008, | |
| "learning_rate": 1.6666666666666669e-06, | |
| "loss": 6.0473, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0001953125, | |
| "grad_norm": 13.109691619873047, | |
| "learning_rate": 3.3333333333333337e-06, | |
| "loss": 6.0151, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.00029296875, | |
| "grad_norm": 12.975897789001465, | |
| "learning_rate": 5e-06, | |
| "loss": 6.0374, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.000390625, | |
| "grad_norm": 12.861470222473145, | |
| "learning_rate": 6.6666666666666675e-06, | |
| "loss": 5.9534, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.00048828125, | |
| "grad_norm": 11.551366806030273, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 5.7805, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.0005859375, | |
| "grad_norm": 7.968364238739014, | |
| "learning_rate": 1e-05, | |
| "loss": 5.5664, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.00068359375, | |
| "grad_norm": 6.854646682739258, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 5.4982, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.00078125, | |
| "grad_norm": 3.759798049926758, | |
| "learning_rate": 1.3333333333333335e-05, | |
| "loss": 5.1824, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.00087890625, | |
| "grad_norm": 3.48822283744812, | |
| "learning_rate": 1.5e-05, | |
| "loss": 5.0667, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.0009765625, | |
| "grad_norm": 3.1011886596679688, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 5.0028, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.00107421875, | |
| "grad_norm": 2.5868849754333496, | |
| "learning_rate": 1.8333333333333333e-05, | |
| "loss": 4.7787, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.001171875, | |
| "grad_norm": 2.378497838973999, | |
| "learning_rate": 2e-05, | |
| "loss": 4.6855, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.00126953125, | |
| "grad_norm": 2.2101738452911377, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 4.6042, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.0013671875, | |
| "grad_norm": 1.9938961267471313, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 4.3843, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.00146484375, | |
| "grad_norm": 1.9345463514328003, | |
| "learning_rate": 2.5e-05, | |
| "loss": 4.2548, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.0015625, | |
| "grad_norm": 1.7730776071548462, | |
| "learning_rate": 2.666666666666667e-05, | |
| "loss": 4.1363, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.00166015625, | |
| "grad_norm": 1.58334481716156, | |
| "learning_rate": 2.8333333333333332e-05, | |
| "loss": 3.9704, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.0017578125, | |
| "grad_norm": 1.4827001094818115, | |
| "learning_rate": 3e-05, | |
| "loss": 3.81, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.00185546875, | |
| "grad_norm": 1.4140430688858032, | |
| "learning_rate": 3.166666666666667e-05, | |
| "loss": 3.7305, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.001953125, | |
| "grad_norm": 1.3934496641159058, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 3.5375, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.00205078125, | |
| "grad_norm": 1.3384771347045898, | |
| "learning_rate": 3.5000000000000004e-05, | |
| "loss": 3.5217, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.0021484375, | |
| "grad_norm": 1.2228978872299194, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 3.3742, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.00224609375, | |
| "grad_norm": 1.1775028705596924, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 3.2626, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.00234375, | |
| "grad_norm": 1.0886842012405396, | |
| "learning_rate": 4e-05, | |
| "loss": 3.1864, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.00244140625, | |
| "grad_norm": 1.0981535911560059, | |
| "learning_rate": 4.1666666666666665e-05, | |
| "loss": 3.0962, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.0025390625, | |
| "grad_norm": 1.009294867515564, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 3.0507, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.00263671875, | |
| "grad_norm": 0.9390103816986084, | |
| "learning_rate": 4.4999999999999996e-05, | |
| "loss": 2.9579, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.002734375, | |
| "grad_norm": 0.8647847175598145, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 2.8166, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.00283203125, | |
| "grad_norm": 0.8606237769126892, | |
| "learning_rate": 4.8333333333333334e-05, | |
| "loss": 2.7919, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.0029296875, | |
| "grad_norm": 0.8069576025009155, | |
| "learning_rate": 5e-05, | |
| "loss": 2.7426, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.00302734375, | |
| "grad_norm": 0.7007808685302734, | |
| "learning_rate": 5.1666666666666664e-05, | |
| "loss": 2.6926, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.003125, | |
| "grad_norm": 0.6825646162033081, | |
| "learning_rate": 5.333333333333334e-05, | |
| "loss": 2.6783, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.00322265625, | |
| "grad_norm": 0.7054751515388489, | |
| "learning_rate": 5.5e-05, | |
| "loss": 2.6239, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.0033203125, | |
| "grad_norm": 0.7101700305938721, | |
| "learning_rate": 5.6666666666666664e-05, | |
| "loss": 2.5993, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.00341796875, | |
| "grad_norm": 0.56828773021698, | |
| "learning_rate": 5.833333333333333e-05, | |
| "loss": 2.5258, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.003515625, | |
| "grad_norm": 0.5513983368873596, | |
| "learning_rate": 6e-05, | |
| "loss": 2.5018, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.00361328125, | |
| "grad_norm": 0.573391318321228, | |
| "learning_rate": 6.166666666666667e-05, | |
| "loss": 2.4881, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.0037109375, | |
| "grad_norm": 0.4520920515060425, | |
| "learning_rate": 6.333333333333335e-05, | |
| "loss": 2.4489, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.00380859375, | |
| "grad_norm": 0.43038809299468994, | |
| "learning_rate": 6.500000000000001e-05, | |
| "loss": 2.4387, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.00390625, | |
| "grad_norm": 0.4071808457374573, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 2.4261, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.00400390625, | |
| "grad_norm": 0.3631410300731659, | |
| "learning_rate": 6.833333333333333e-05, | |
| "loss": 2.3656, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.0041015625, | |
| "grad_norm": 0.33457818627357483, | |
| "learning_rate": 7.000000000000001e-05, | |
| "loss": 2.4011, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.00419921875, | |
| "grad_norm": 0.3582305610179901, | |
| "learning_rate": 7.166666666666667e-05, | |
| "loss": 2.3662, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.004296875, | |
| "grad_norm": 0.4090467691421509, | |
| "learning_rate": 7.333333333333333e-05, | |
| "loss": 2.3282, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.00439453125, | |
| "grad_norm": 0.34438556432724, | |
| "learning_rate": 7.5e-05, | |
| "loss": 2.2991, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.0044921875, | |
| "grad_norm": 0.29381102323532104, | |
| "learning_rate": 7.666666666666667e-05, | |
| "loss": 2.2506, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.00458984375, | |
| "grad_norm": 0.4019562304019928, | |
| "learning_rate": 7.833333333333334e-05, | |
| "loss": 2.2494, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.0046875, | |
| "grad_norm": 0.3183911144733429, | |
| "learning_rate": 8e-05, | |
| "loss": 2.2853, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.00478515625, | |
| "grad_norm": 0.33041393756866455, | |
| "learning_rate": 8.166666666666667e-05, | |
| "loss": 2.2251, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.0048828125, | |
| "grad_norm": 0.28936123847961426, | |
| "learning_rate": 8.333333333333333e-05, | |
| "loss": 2.2308, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.00498046875, | |
| "grad_norm": 0.36125779151916504, | |
| "learning_rate": 8.5e-05, | |
| "loss": 2.2473, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.005078125, | |
| "grad_norm": 0.2832348942756653, | |
| "learning_rate": 8.666666666666667e-05, | |
| "loss": 2.201, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.00517578125, | |
| "grad_norm": 0.3250133693218231, | |
| "learning_rate": 8.833333333333333e-05, | |
| "loss": 2.1596, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.0052734375, | |
| "grad_norm": 0.31502828001976013, | |
| "learning_rate": 8.999999999999999e-05, | |
| "loss": 2.2183, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.00537109375, | |
| "grad_norm": 0.33068645000457764, | |
| "learning_rate": 9.166666666666667e-05, | |
| "loss": 2.2254, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.00546875, | |
| "grad_norm": 0.30684661865234375, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 2.2572, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.00556640625, | |
| "grad_norm": 0.31540846824645996, | |
| "learning_rate": 9.5e-05, | |
| "loss": 2.1594, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.0056640625, | |
| "grad_norm": 0.23259752988815308, | |
| "learning_rate": 9.666666666666667e-05, | |
| "loss": 2.172, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.00576171875, | |
| "grad_norm": 0.26666638255119324, | |
| "learning_rate": 9.833333333333333e-05, | |
| "loss": 2.1961, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.005859375, | |
| "grad_norm": 0.26295527815818787, | |
| "learning_rate": 0.0001, | |
| "loss": 2.1811, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.00595703125, | |
| "grad_norm": 0.2302207201719284, | |
| "learning_rate": 0.00010166666666666667, | |
| "loss": 2.1431, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.0060546875, | |
| "grad_norm": 0.468537837266922, | |
| "learning_rate": 0.00010333333333333333, | |
| "loss": 2.133, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.00615234375, | |
| "grad_norm": 0.27946797013282776, | |
| "learning_rate": 0.000105, | |
| "loss": 2.1917, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.00625, | |
| "grad_norm": 0.26789286732673645, | |
| "learning_rate": 0.00010666666666666668, | |
| "loss": 2.1417, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.00634765625, | |
| "grad_norm": 0.22977805137634277, | |
| "learning_rate": 0.00010833333333333334, | |
| "loss": 2.1371, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.0064453125, | |
| "grad_norm": 0.2590682804584503, | |
| "learning_rate": 0.00011, | |
| "loss": 2.113, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.00654296875, | |
| "grad_norm": 0.2660805583000183, | |
| "learning_rate": 0.00011166666666666667, | |
| "loss": 2.1346, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.006640625, | |
| "grad_norm": 0.24538874626159668, | |
| "learning_rate": 0.00011333333333333333, | |
| "loss": 2.1078, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.00673828125, | |
| "grad_norm": 0.2986001968383789, | |
| "learning_rate": 0.000115, | |
| "loss": 2.1048, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.0068359375, | |
| "grad_norm": 0.30193910002708435, | |
| "learning_rate": 0.00011666666666666667, | |
| "loss": 2.135, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.00693359375, | |
| "grad_norm": 0.25153177976608276, | |
| "learning_rate": 0.00011833333333333334, | |
| "loss": 2.1101, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.00703125, | |
| "grad_norm": 0.7685809135437012, | |
| "learning_rate": 0.00012, | |
| "loss": 2.0833, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.00712890625, | |
| "grad_norm": 0.24468126893043518, | |
| "learning_rate": 0.00012166666666666668, | |
| "loss": 2.1409, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.0072265625, | |
| "grad_norm": 0.3070752024650574, | |
| "learning_rate": 0.00012333333333333334, | |
| "loss": 2.1402, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.00732421875, | |
| "grad_norm": 0.352273553609848, | |
| "learning_rate": 0.000125, | |
| "loss": 2.171, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.007421875, | |
| "grad_norm": 0.34806111454963684, | |
| "learning_rate": 0.0001266666666666667, | |
| "loss": 2.1155, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.00751953125, | |
| "grad_norm": 0.317414253950119, | |
| "learning_rate": 0.00012833333333333333, | |
| "loss": 2.0812, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.0076171875, | |
| "grad_norm": 0.3320539891719818, | |
| "learning_rate": 0.00013000000000000002, | |
| "loss": 2.0987, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.00771484375, | |
| "grad_norm": 0.3315901756286621, | |
| "learning_rate": 0.00013166666666666665, | |
| "loss": 2.1025, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.0078125, | |
| "grad_norm": 0.29021286964416504, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 2.1474, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.00791015625, | |
| "grad_norm": 0.2593044936656952, | |
| "learning_rate": 0.000135, | |
| "loss": 2.0667, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.0080078125, | |
| "grad_norm": 0.3192054033279419, | |
| "learning_rate": 0.00013666666666666666, | |
| "loss": 2.0764, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.00810546875, | |
| "grad_norm": 0.26053664088249207, | |
| "learning_rate": 0.00013833333333333333, | |
| "loss": 2.0698, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.008203125, | |
| "grad_norm": 0.24790963530540466, | |
| "learning_rate": 0.00014000000000000001, | |
| "loss": 2.124, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.00830078125, | |
| "grad_norm": 0.2546316087245941, | |
| "learning_rate": 0.00014166666666666668, | |
| "loss": 2.1025, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.0083984375, | |
| "grad_norm": 0.22275258600711823, | |
| "learning_rate": 0.00014333333333333334, | |
| "loss": 2.0778, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.00849609375, | |
| "grad_norm": 0.22855599224567413, | |
| "learning_rate": 0.000145, | |
| "loss": 2.1113, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.00859375, | |
| "grad_norm": 0.2456902116537094, | |
| "learning_rate": 0.00014666666666666666, | |
| "loss": 2.1399, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.00869140625, | |
| "grad_norm": 0.22144420444965363, | |
| "learning_rate": 0.00014833333333333335, | |
| "loss": 2.0211, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.0087890625, | |
| "grad_norm": 0.254894495010376, | |
| "learning_rate": 0.00015, | |
| "loss": 2.1382, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.00888671875, | |
| "grad_norm": 0.2729082703590393, | |
| "learning_rate": 0.00015166666666666668, | |
| "loss": 2.1271, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.008984375, | |
| "grad_norm": 0.2564642131328583, | |
| "learning_rate": 0.00015333333333333334, | |
| "loss": 2.0423, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.00908203125, | |
| "grad_norm": 0.24927419424057007, | |
| "learning_rate": 0.000155, | |
| "loss": 2.0603, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.0091796875, | |
| "grad_norm": 0.2591923475265503, | |
| "learning_rate": 0.0001566666666666667, | |
| "loss": 2.0522, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.00927734375, | |
| "grad_norm": 0.3350547254085541, | |
| "learning_rate": 0.00015833333333333332, | |
| "loss": 2.1095, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.009375, | |
| "grad_norm": 0.30227839946746826, | |
| "learning_rate": 0.00016, | |
| "loss": 2.121, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.00947265625, | |
| "grad_norm": 0.3027198314666748, | |
| "learning_rate": 0.00016166666666666665, | |
| "loss": 2.0288, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.0095703125, | |
| "grad_norm": 0.29791951179504395, | |
| "learning_rate": 0.00016333333333333334, | |
| "loss": 2.0471, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.00966796875, | |
| "grad_norm": 0.30918803811073303, | |
| "learning_rate": 0.000165, | |
| "loss": 2.1036, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.009765625, | |
| "grad_norm": 0.2510216534137726, | |
| "learning_rate": 0.00016666666666666666, | |
| "loss": 2.0217, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.00986328125, | |
| "grad_norm": 0.288231760263443, | |
| "learning_rate": 0.00016833333333333335, | |
| "loss": 2.0178, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 0.0099609375, | |
| "grad_norm": 0.3326691687107086, | |
| "learning_rate": 0.00017, | |
| "loss": 2.0947, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 0.01005859375, | |
| "grad_norm": 0.3552946150302887, | |
| "learning_rate": 0.00017166666666666667, | |
| "loss": 1.9953, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 0.01015625, | |
| "grad_norm": 0.34882935881614685, | |
| "learning_rate": 0.00017333333333333334, | |
| "loss": 2.1223, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.01025390625, | |
| "grad_norm": 0.35487979650497437, | |
| "learning_rate": 0.000175, | |
| "loss": 2.0599, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.0103515625, | |
| "grad_norm": 0.33561578392982483, | |
| "learning_rate": 0.00017666666666666666, | |
| "loss": 2.0398, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 0.01044921875, | |
| "grad_norm": 0.27415409684181213, | |
| "learning_rate": 0.00017833333333333335, | |
| "loss": 2.0982, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 0.010546875, | |
| "grad_norm": 0.28592920303344727, | |
| "learning_rate": 0.00017999999999999998, | |
| "loss": 2.0571, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.01064453125, | |
| "grad_norm": 0.3228552043437958, | |
| "learning_rate": 0.00018166666666666667, | |
| "loss": 1.9923, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 0.0107421875, | |
| "grad_norm": 0.29005661606788635, | |
| "learning_rate": 0.00018333333333333334, | |
| "loss": 2.0394, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.01083984375, | |
| "grad_norm": 0.36677825450897217, | |
| "learning_rate": 0.000185, | |
| "loss": 2.0153, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 0.0109375, | |
| "grad_norm": 0.2562806308269501, | |
| "learning_rate": 0.0001866666666666667, | |
| "loss": 2.05, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.01103515625, | |
| "grad_norm": 0.2748093008995056, | |
| "learning_rate": 0.00018833333333333332, | |
| "loss": 2.0449, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 0.0111328125, | |
| "grad_norm": 0.3924459218978882, | |
| "learning_rate": 0.00019, | |
| "loss": 2.0409, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 0.01123046875, | |
| "grad_norm": 0.4368191063404083, | |
| "learning_rate": 0.00019166666666666667, | |
| "loss": 2.0178, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.011328125, | |
| "grad_norm": 0.4236035943031311, | |
| "learning_rate": 0.00019333333333333333, | |
| "loss": 2.0518, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.01142578125, | |
| "grad_norm": 0.28912851214408875, | |
| "learning_rate": 0.00019500000000000002, | |
| "loss": 2.0058, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 0.0115234375, | |
| "grad_norm": 0.38847798109054565, | |
| "learning_rate": 0.00019666666666666666, | |
| "loss": 2.0818, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 0.01162109375, | |
| "grad_norm": 0.29429811239242554, | |
| "learning_rate": 0.00019833333333333335, | |
| "loss": 2.004, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 0.01171875, | |
| "grad_norm": 0.2969271242618561, | |
| "learning_rate": 0.0002, | |
| "loss": 2.046, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.01181640625, | |
| "grad_norm": 0.297894150018692, | |
| "learning_rate": 0.00020166666666666667, | |
| "loss": 2.0204, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 0.0119140625, | |
| "grad_norm": 0.28794237971305847, | |
| "learning_rate": 0.00020333333333333333, | |
| "loss": 2.0663, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 0.01201171875, | |
| "grad_norm": 0.2766033411026001, | |
| "learning_rate": 0.000205, | |
| "loss": 2.0399, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 0.012109375, | |
| "grad_norm": 0.3516612648963928, | |
| "learning_rate": 0.00020666666666666666, | |
| "loss": 2.0389, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.01220703125, | |
| "grad_norm": 0.28204381465911865, | |
| "learning_rate": 0.00020833333333333335, | |
| "loss": 2.0084, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.0123046875, | |
| "grad_norm": 0.3306240737438202, | |
| "learning_rate": 0.00021, | |
| "loss": 2.013, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 0.01240234375, | |
| "grad_norm": 0.3221111595630646, | |
| "learning_rate": 0.00021166666666666667, | |
| "loss": 2.0312, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 0.0125, | |
| "grad_norm": 0.2742249071598053, | |
| "learning_rate": 0.00021333333333333336, | |
| "loss": 2.0375, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.01259765625, | |
| "grad_norm": 0.2785228490829468, | |
| "learning_rate": 0.000215, | |
| "loss": 2.0449, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 0.0126953125, | |
| "grad_norm": 0.2666397988796234, | |
| "learning_rate": 0.00021666666666666668, | |
| "loss": 2.0355, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.01279296875, | |
| "grad_norm": 0.22522135078907013, | |
| "learning_rate": 0.00021833333333333332, | |
| "loss": 1.9693, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 0.012890625, | |
| "grad_norm": 0.2724483013153076, | |
| "learning_rate": 0.00022, | |
| "loss": 2.0671, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.01298828125, | |
| "grad_norm": 0.2655040919780731, | |
| "learning_rate": 0.00022166666666666667, | |
| "loss": 1.9805, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 0.0130859375, | |
| "grad_norm": 0.3194504678249359, | |
| "learning_rate": 0.00022333333333333333, | |
| "loss": 2.067, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 0.01318359375, | |
| "grad_norm": 0.25511813163757324, | |
| "learning_rate": 0.00022500000000000002, | |
| "loss": 2.0141, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.01328125, | |
| "grad_norm": 0.3995087444782257, | |
| "learning_rate": 0.00022666666666666666, | |
| "loss": 2.0278, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.01337890625, | |
| "grad_norm": 0.2623380422592163, | |
| "learning_rate": 0.00022833333333333334, | |
| "loss": 1.9751, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 0.0134765625, | |
| "grad_norm": 0.23814889788627625, | |
| "learning_rate": 0.00023, | |
| "loss": 1.969, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 0.01357421875, | |
| "grad_norm": 0.23566491901874542, | |
| "learning_rate": 0.00023166666666666667, | |
| "loss": 2.0135, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 0.013671875, | |
| "grad_norm": 0.2437373697757721, | |
| "learning_rate": 0.00023333333333333333, | |
| "loss": 2.0044, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.01376953125, | |
| "grad_norm": 0.2861543595790863, | |
| "learning_rate": 0.000235, | |
| "loss": 2.0378, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 0.0138671875, | |
| "grad_norm": 0.318050354719162, | |
| "learning_rate": 0.00023666666666666668, | |
| "loss": 2.0857, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 0.01396484375, | |
| "grad_norm": 0.39669227600097656, | |
| "learning_rate": 0.00023833333333333334, | |
| "loss": 2.0535, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 0.0140625, | |
| "grad_norm": 0.4359401762485504, | |
| "learning_rate": 0.00024, | |
| "loss": 2.0432, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.01416015625, | |
| "grad_norm": 0.4532039165496826, | |
| "learning_rate": 0.00024166666666666667, | |
| "loss": 1.9909, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.0142578125, | |
| "grad_norm": 0.4570695161819458, | |
| "learning_rate": 0.00024333333333333336, | |
| "loss": 2.0123, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 0.01435546875, | |
| "grad_norm": 0.36623403429985046, | |
| "learning_rate": 0.000245, | |
| "loss": 2.0179, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 0.014453125, | |
| "grad_norm": 0.3069714307785034, | |
| "learning_rate": 0.0002466666666666667, | |
| "loss": 2.0014, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.01455078125, | |
| "grad_norm": 0.3980304002761841, | |
| "learning_rate": 0.0002483333333333333, | |
| "loss": 2.0489, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 0.0146484375, | |
| "grad_norm": 0.31907564401626587, | |
| "learning_rate": 0.00025, | |
| "loss": 2.013, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.01474609375, | |
| "grad_norm": 0.2952549159526825, | |
| "learning_rate": 0.00025166666666666664, | |
| "loss": 2.0709, | |
| "step": 151 | |
| }, | |
| { | |
| "epoch": 0.01484375, | |
| "grad_norm": 0.29451197385787964, | |
| "learning_rate": 0.0002533333333333334, | |
| "loss": 1.9613, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.01494140625, | |
| "grad_norm": 0.2893507778644562, | |
| "learning_rate": 0.000255, | |
| "loss": 2.0048, | |
| "step": 153 | |
| }, | |
| { | |
| "epoch": 0.0150390625, | |
| "grad_norm": 0.24850639700889587, | |
| "learning_rate": 0.00025666666666666665, | |
| "loss": 2.0198, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 0.01513671875, | |
| "grad_norm": 0.24297639727592468, | |
| "learning_rate": 0.00025833333333333334, | |
| "loss": 2.0561, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 0.015234375, | |
| "grad_norm": 0.2777438461780548, | |
| "learning_rate": 0.00026000000000000003, | |
| "loss": 2.0206, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.01533203125, | |
| "grad_norm": 0.28714093565940857, | |
| "learning_rate": 0.00026166666666666667, | |
| "loss": 1.9891, | |
| "step": 157 | |
| }, | |
| { | |
| "epoch": 0.0154296875, | |
| "grad_norm": 0.25796255469322205, | |
| "learning_rate": 0.0002633333333333333, | |
| "loss": 2.0369, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 0.01552734375, | |
| "grad_norm": 0.2391008883714676, | |
| "learning_rate": 0.00026500000000000004, | |
| "loss": 2.0015, | |
| "step": 159 | |
| }, | |
| { | |
| "epoch": 0.015625, | |
| "grad_norm": 0.3203892409801483, | |
| "learning_rate": 0.0002666666666666667, | |
| "loss": 2.0213, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.01572265625, | |
| "grad_norm": 0.3396870791912079, | |
| "learning_rate": 0.0002683333333333333, | |
| "loss": 2.0333, | |
| "step": 161 | |
| }, | |
| { | |
| "epoch": 0.0158203125, | |
| "grad_norm": 0.315060555934906, | |
| "learning_rate": 0.00027, | |
| "loss": 2.0195, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 0.01591796875, | |
| "grad_norm": 0.2672436535358429, | |
| "learning_rate": 0.0002716666666666667, | |
| "loss": 1.9946, | |
| "step": 163 | |
| }, | |
| { | |
| "epoch": 0.016015625, | |
| "grad_norm": 0.2996402382850647, | |
| "learning_rate": 0.00027333333333333333, | |
| "loss": 2.0112, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.01611328125, | |
| "grad_norm": 0.2894189953804016, | |
| "learning_rate": 0.000275, | |
| "loss": 2.0157, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 0.0162109375, | |
| "grad_norm": 0.26241254806518555, | |
| "learning_rate": 0.00027666666666666665, | |
| "loss": 2.0177, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 0.01630859375, | |
| "grad_norm": 0.22900305688381195, | |
| "learning_rate": 0.00027833333333333334, | |
| "loss": 1.9834, | |
| "step": 167 | |
| }, | |
| { | |
| "epoch": 0.01640625, | |
| "grad_norm": 0.2373427301645279, | |
| "learning_rate": 0.00028000000000000003, | |
| "loss": 1.9792, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.01650390625, | |
| "grad_norm": 0.2663004696369171, | |
| "learning_rate": 0.00028166666666666666, | |
| "loss": 2.0203, | |
| "step": 169 | |
| }, | |
| { | |
| "epoch": 0.0166015625, | |
| "grad_norm": 0.31653544306755066, | |
| "learning_rate": 0.00028333333333333335, | |
| "loss": 2.0216, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.01669921875, | |
| "grad_norm": 0.3077234923839569, | |
| "learning_rate": 0.000285, | |
| "loss": 2.0361, | |
| "step": 171 | |
| }, | |
| { | |
| "epoch": 0.016796875, | |
| "grad_norm": 0.25555703043937683, | |
| "learning_rate": 0.0002866666666666667, | |
| "loss": 2.0102, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.01689453125, | |
| "grad_norm": 0.29817435145378113, | |
| "learning_rate": 0.0002883333333333333, | |
| "loss": 1.972, | |
| "step": 173 | |
| }, | |
| { | |
| "epoch": 0.0169921875, | |
| "grad_norm": 0.3075692355632782, | |
| "learning_rate": 0.00029, | |
| "loss": 2.0195, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 0.01708984375, | |
| "grad_norm": 0.29917964339256287, | |
| "learning_rate": 0.0002916666666666667, | |
| "loss": 1.9972, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 0.0171875, | |
| "grad_norm": 0.32018229365348816, | |
| "learning_rate": 0.0002933333333333333, | |
| "loss": 1.9895, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.01728515625, | |
| "grad_norm": 0.2907097339630127, | |
| "learning_rate": 0.000295, | |
| "loss": 1.9777, | |
| "step": 177 | |
| }, | |
| { | |
| "epoch": 0.0173828125, | |
| "grad_norm": 0.22390642762184143, | |
| "learning_rate": 0.0002966666666666667, | |
| "loss": 1.9961, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 0.01748046875, | |
| "grad_norm": 0.25350186228752136, | |
| "learning_rate": 0.00029833333333333334, | |
| "loss": 1.9875, | |
| "step": 179 | |
| }, | |
| { | |
| "epoch": 0.017578125, | |
| "grad_norm": 0.22856706380844116, | |
| "learning_rate": 0.0003, | |
| "loss": 2.0169, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.01767578125, | |
| "grad_norm": 0.2288493812084198, | |
| "learning_rate": 0.0003016666666666667, | |
| "loss": 2.0238, | |
| "step": 181 | |
| }, | |
| { | |
| "epoch": 0.0177734375, | |
| "grad_norm": 0.27326855063438416, | |
| "learning_rate": 0.00030333333333333335, | |
| "loss": 2.0134, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 0.01787109375, | |
| "grad_norm": 0.2447524517774582, | |
| "learning_rate": 0.000305, | |
| "loss": 1.9852, | |
| "step": 183 | |
| }, | |
| { | |
| "epoch": 0.01796875, | |
| "grad_norm": 0.4363366663455963, | |
| "learning_rate": 0.0003066666666666667, | |
| "loss": 1.9921, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.01806640625, | |
| "grad_norm": 0.4569666385650635, | |
| "learning_rate": 0.00030833333333333337, | |
| "loss": 1.9997, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 0.0181640625, | |
| "grad_norm": 0.43348655104637146, | |
| "learning_rate": 0.00031, | |
| "loss": 2.0584, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 0.01826171875, | |
| "grad_norm": 0.3844921588897705, | |
| "learning_rate": 0.00031166666666666663, | |
| "loss": 2.0035, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 0.018359375, | |
| "grad_norm": 0.3427641987800598, | |
| "learning_rate": 0.0003133333333333334, | |
| "loss": 1.9536, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.01845703125, | |
| "grad_norm": 0.33557865023612976, | |
| "learning_rate": 0.000315, | |
| "loss": 1.972, | |
| "step": 189 | |
| }, | |
| { | |
| "epoch": 0.0185546875, | |
| "grad_norm": 0.4006612300872803, | |
| "learning_rate": 0.00031666666666666665, | |
| "loss": 2.0652, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.01865234375, | |
| "grad_norm": 0.3158099055290222, | |
| "learning_rate": 0.00031833333333333334, | |
| "loss": 2.0516, | |
| "step": 191 | |
| }, | |
| { | |
| "epoch": 0.01875, | |
| "grad_norm": 0.3799190819263458, | |
| "learning_rate": 0.00032, | |
| "loss": 2.011, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.01884765625, | |
| "grad_norm": 0.2948876619338989, | |
| "learning_rate": 0.00032166666666666666, | |
| "loss": 2.0109, | |
| "step": 193 | |
| }, | |
| { | |
| "epoch": 0.0189453125, | |
| "grad_norm": 0.24561335146427155, | |
| "learning_rate": 0.0003233333333333333, | |
| "loss": 2.0264, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 0.01904296875, | |
| "grad_norm": 0.24896866083145142, | |
| "learning_rate": 0.00032500000000000004, | |
| "loss": 1.9726, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 0.019140625, | |
| "grad_norm": 0.26887547969818115, | |
| "learning_rate": 0.0003266666666666667, | |
| "loss": 2.0036, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.01923828125, | |
| "grad_norm": 0.3186735212802887, | |
| "learning_rate": 0.0003283333333333333, | |
| "loss": 2.0174, | |
| "step": 197 | |
| }, | |
| { | |
| "epoch": 0.0193359375, | |
| "grad_norm": 0.3317165672779083, | |
| "learning_rate": 0.00033, | |
| "loss": 2.0047, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 0.01943359375, | |
| "grad_norm": 0.3068574070930481, | |
| "learning_rate": 0.0003316666666666667, | |
| "loss": 2.0032, | |
| "step": 199 | |
| }, | |
| { | |
| "epoch": 0.01953125, | |
| "grad_norm": 0.29292526841163635, | |
| "learning_rate": 0.0003333333333333333, | |
| "loss": 2.0533, | |
| "step": 200 | |
| } | |
| ], | |
| "logging_steps": 1.0, | |
| "max_steps": 10240, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 9223372036854775807, | |
| "save_steps": 200, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.2245011890438144e+18, | |
| "train_batch_size": 16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |