| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.01953125, | |
| "eval_steps": 500, | |
| "global_step": 200, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 9.765625e-05, | |
| "grad_norm": 79.3869857788086, | |
| "learning_rate": 3.3333333333333337e-06, | |
| "loss": 7.7773, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.0001953125, | |
| "grad_norm": 80.6998291015625, | |
| "learning_rate": 6.6666666666666675e-06, | |
| "loss": 7.7617, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.00029296875, | |
| "grad_norm": 67.86173248291016, | |
| "learning_rate": 1e-05, | |
| "loss": 7.6523, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.000390625, | |
| "grad_norm": 31.295886993408203, | |
| "learning_rate": 1.3333333333333335e-05, | |
| "loss": 7.3242, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.00048828125, | |
| "grad_norm": 27.488962173461914, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 7.2773, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.0005859375, | |
| "grad_norm": 16.267820358276367, | |
| "learning_rate": 2e-05, | |
| "loss": 7.1641, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.00068359375, | |
| "grad_norm": 37.23747253417969, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 7.2812, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.00078125, | |
| "grad_norm": 17.467384338378906, | |
| "learning_rate": 2.666666666666667e-05, | |
| "loss": 7.0508, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.00087890625, | |
| "grad_norm": 9.459285736083984, | |
| "learning_rate": 3e-05, | |
| "loss": 6.9375, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.0009765625, | |
| "grad_norm": 8.56839656829834, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 6.8789, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.00107421875, | |
| "grad_norm": 24.074443817138672, | |
| "learning_rate": 3.6666666666666666e-05, | |
| "loss": 6.8672, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.001171875, | |
| "grad_norm": 11.778696060180664, | |
| "learning_rate": 4e-05, | |
| "loss": 6.7969, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.00126953125, | |
| "grad_norm": 14.282492637634277, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 6.8047, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.0013671875, | |
| "grad_norm": 8.801307678222656, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 6.7188, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.00146484375, | |
| "grad_norm": 8.514760971069336, | |
| "learning_rate": 5e-05, | |
| "loss": 6.7148, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.0015625, | |
| "grad_norm": 9.48074722290039, | |
| "learning_rate": 5.333333333333334e-05, | |
| "loss": 6.6641, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.00166015625, | |
| "grad_norm": 7.557260036468506, | |
| "learning_rate": 5.6666666666666664e-05, | |
| "loss": 6.6172, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.0017578125, | |
| "grad_norm": 6.613265037536621, | |
| "learning_rate": 6e-05, | |
| "loss": 6.5977, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.00185546875, | |
| "grad_norm": 13.777167320251465, | |
| "learning_rate": 6.333333333333335e-05, | |
| "loss": 6.6328, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.001953125, | |
| "grad_norm": 6.775121688842773, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 6.5391, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.00205078125, | |
| "grad_norm": 9.053375244140625, | |
| "learning_rate": 7.000000000000001e-05, | |
| "loss": 6.543, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.0021484375, | |
| "grad_norm": 5.147669792175293, | |
| "learning_rate": 7.333333333333333e-05, | |
| "loss": 6.5039, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.00224609375, | |
| "grad_norm": 9.595170974731445, | |
| "learning_rate": 7.666666666666667e-05, | |
| "loss": 6.5, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.00234375, | |
| "grad_norm": 6.9720964431762695, | |
| "learning_rate": 8e-05, | |
| "loss": 6.4883, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.00244140625, | |
| "grad_norm": 9.805245399475098, | |
| "learning_rate": 8.333333333333333e-05, | |
| "loss": 6.4414, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.0025390625, | |
| "grad_norm": 5.9478044509887695, | |
| "learning_rate": 8.666666666666667e-05, | |
| "loss": 6.4297, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.00263671875, | |
| "grad_norm": 8.962249755859375, | |
| "learning_rate": 8.999999999999999e-05, | |
| "loss": 6.4297, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.002734375, | |
| "grad_norm": 5.202462673187256, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 6.375, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.00283203125, | |
| "grad_norm": 5.034671306610107, | |
| "learning_rate": 9.666666666666667e-05, | |
| "loss": 6.3555, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.0029296875, | |
| "grad_norm": 7.446832656860352, | |
| "learning_rate": 0.0001, | |
| "loss": 6.3477, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.00302734375, | |
| "grad_norm": 5.554169654846191, | |
| "learning_rate": 0.00010333333333333333, | |
| "loss": 6.3086, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.003125, | |
| "grad_norm": 5.340260028839111, | |
| "learning_rate": 0.00010666666666666668, | |
| "loss": 6.293, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.00322265625, | |
| "grad_norm": 6.529757976531982, | |
| "learning_rate": 0.00011, | |
| "loss": 6.2812, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.0033203125, | |
| "grad_norm": 8.140447616577148, | |
| "learning_rate": 0.00011333333333333333, | |
| "loss": 6.2656, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.00341796875, | |
| "grad_norm": 5.15455961227417, | |
| "learning_rate": 0.00011666666666666667, | |
| "loss": 6.2266, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.003515625, | |
| "grad_norm": 7.219542980194092, | |
| "learning_rate": 0.00012, | |
| "loss": 6.2539, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.00361328125, | |
| "grad_norm": 5.522006988525391, | |
| "learning_rate": 0.00012333333333333334, | |
| "loss": 6.2305, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.0037109375, | |
| "grad_norm": 4.108240127563477, | |
| "learning_rate": 0.0001266666666666667, | |
| "loss": 6.2109, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.00380859375, | |
| "grad_norm": 5.117391586303711, | |
| "learning_rate": 0.00013000000000000002, | |
| "loss": 6.1992, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.00390625, | |
| "grad_norm": 9.84037971496582, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 6.2227, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.00400390625, | |
| "grad_norm": 5.794247150421143, | |
| "learning_rate": 0.00013666666666666666, | |
| "loss": 6.1953, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.0041015625, | |
| "grad_norm": 5.9350810050964355, | |
| "learning_rate": 0.00014000000000000001, | |
| "loss": 6.1836, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.00419921875, | |
| "grad_norm": 6.219013214111328, | |
| "learning_rate": 0.00014333333333333334, | |
| "loss": 6.168, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.004296875, | |
| "grad_norm": 4.501729488372803, | |
| "learning_rate": 0.00014666666666666666, | |
| "loss": 6.1055, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.00439453125, | |
| "grad_norm": 6.2689948081970215, | |
| "learning_rate": 0.00015, | |
| "loss": 6.1328, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.0044921875, | |
| "grad_norm": 4.54839563369751, | |
| "learning_rate": 0.00015333333333333334, | |
| "loss": 6.1055, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.00458984375, | |
| "grad_norm": 4.619740009307861, | |
| "learning_rate": 0.0001566666666666667, | |
| "loss": 6.082, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.0046875, | |
| "grad_norm": 7.260074615478516, | |
| "learning_rate": 0.00016, | |
| "loss": 6.0938, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.00478515625, | |
| "grad_norm": 5.270298480987549, | |
| "learning_rate": 0.00016333333333333334, | |
| "loss": 6.0859, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.0048828125, | |
| "grad_norm": 6.634472846984863, | |
| "learning_rate": 0.00016666666666666666, | |
| "loss": 6.0625, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.00498046875, | |
| "grad_norm": 4.172934532165527, | |
| "learning_rate": 0.00017, | |
| "loss": 6.0469, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.005078125, | |
| "grad_norm": 5.719873905181885, | |
| "learning_rate": 0.00017333333333333334, | |
| "loss": 6.0273, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.00517578125, | |
| "grad_norm": 4.851602554321289, | |
| "learning_rate": 0.00017666666666666666, | |
| "loss": 6.0234, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.0052734375, | |
| "grad_norm": 4.784290313720703, | |
| "learning_rate": 0.00017999999999999998, | |
| "loss": 5.9883, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.00537109375, | |
| "grad_norm": 5.738783359527588, | |
| "learning_rate": 0.00018333333333333334, | |
| "loss": 6.0078, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.00546875, | |
| "grad_norm": 4.525517463684082, | |
| "learning_rate": 0.0001866666666666667, | |
| "loss": 5.9844, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.00556640625, | |
| "grad_norm": 5.545010566711426, | |
| "learning_rate": 0.00019, | |
| "loss": 6.0078, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.0056640625, | |
| "grad_norm": 5.725442409515381, | |
| "learning_rate": 0.00019333333333333333, | |
| "loss": 5.9688, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.00576171875, | |
| "grad_norm": 4.413902282714844, | |
| "learning_rate": 0.00019666666666666666, | |
| "loss": 5.9414, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.005859375, | |
| "grad_norm": 4.734899520874023, | |
| "learning_rate": 0.0002, | |
| "loss": 5.9609, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.00595703125, | |
| "grad_norm": 4.493259906768799, | |
| "learning_rate": 0.00020333333333333333, | |
| "loss": 5.9648, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.0060546875, | |
| "grad_norm": 4.654330253601074, | |
| "learning_rate": 0.00020666666666666666, | |
| "loss": 5.957, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.00615234375, | |
| "grad_norm": 5.410141944885254, | |
| "learning_rate": 0.00021, | |
| "loss": 5.9766, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.00625, | |
| "grad_norm": 3.376593589782715, | |
| "learning_rate": 0.00021333333333333336, | |
| "loss": 5.9062, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.00634765625, | |
| "grad_norm": 5.334528923034668, | |
| "learning_rate": 0.00021666666666666668, | |
| "loss": 5.9141, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.0064453125, | |
| "grad_norm": 4.844014644622803, | |
| "learning_rate": 0.00022, | |
| "loss": 5.9062, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.00654296875, | |
| "grad_norm": 4.3729939460754395, | |
| "learning_rate": 0.00022333333333333333, | |
| "loss": 5.9023, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.006640625, | |
| "grad_norm": 6.744809627532959, | |
| "learning_rate": 0.00022666666666666666, | |
| "loss": 5.9648, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.00673828125, | |
| "grad_norm": 4.010498046875, | |
| "learning_rate": 0.00023, | |
| "loss": 5.8945, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.0068359375, | |
| "grad_norm": 5.671877384185791, | |
| "learning_rate": 0.00023333333333333333, | |
| "loss": 5.9414, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.00693359375, | |
| "grad_norm": 3.9647581577301025, | |
| "learning_rate": 0.00023666666666666668, | |
| "loss": 5.8672, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.00703125, | |
| "grad_norm": 4.879064083099365, | |
| "learning_rate": 0.00024, | |
| "loss": 5.8672, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.00712890625, | |
| "grad_norm": 5.130377292633057, | |
| "learning_rate": 0.00024333333333333336, | |
| "loss": 5.8711, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.0072265625, | |
| "grad_norm": 5.8605122566223145, | |
| "learning_rate": 0.0002466666666666667, | |
| "loss": 5.875, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.00732421875, | |
| "grad_norm": 5.346503257751465, | |
| "learning_rate": 0.00025, | |
| "loss": 5.9023, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.007421875, | |
| "grad_norm": 5.273228645324707, | |
| "learning_rate": 0.0002533333333333334, | |
| "loss": 5.8867, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.00751953125, | |
| "grad_norm": 3.8530828952789307, | |
| "learning_rate": 0.00025666666666666665, | |
| "loss": 5.8477, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.0076171875, | |
| "grad_norm": 5.188773155212402, | |
| "learning_rate": 0.00026000000000000003, | |
| "loss": 5.8633, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.00771484375, | |
| "grad_norm": 3.4620485305786133, | |
| "learning_rate": 0.0002633333333333333, | |
| "loss": 5.8398, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.0078125, | |
| "grad_norm": 4.68696403503418, | |
| "learning_rate": 0.0002666666666666667, | |
| "loss": 5.8359, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.00791015625, | |
| "grad_norm": 4.243693828582764, | |
| "learning_rate": 0.00027, | |
| "loss": 5.8555, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.0080078125, | |
| "grad_norm": 5.6479363441467285, | |
| "learning_rate": 0.00027333333333333333, | |
| "loss": 5.832, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.00810546875, | |
| "grad_norm": 3.7417171001434326, | |
| "learning_rate": 0.00027666666666666665, | |
| "loss": 5.8281, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.008203125, | |
| "grad_norm": 4.857771873474121, | |
| "learning_rate": 0.00028000000000000003, | |
| "loss": 5.8086, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.00830078125, | |
| "grad_norm": 4.6594085693359375, | |
| "learning_rate": 0.00028333333333333335, | |
| "loss": 5.832, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.0083984375, | |
| "grad_norm": 4.48290491104126, | |
| "learning_rate": 0.0002866666666666667, | |
| "loss": 5.8164, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.00849609375, | |
| "grad_norm": 6.183064937591553, | |
| "learning_rate": 0.00029, | |
| "loss": 5.8398, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.00859375, | |
| "grad_norm": 4.494201183319092, | |
| "learning_rate": 0.0002933333333333333, | |
| "loss": 5.7969, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.00869140625, | |
| "grad_norm": 5.650720596313477, | |
| "learning_rate": 0.0002966666666666667, | |
| "loss": 5.8438, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.0087890625, | |
| "grad_norm": 5.558387756347656, | |
| "learning_rate": 0.0003, | |
| "loss": 5.8555, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.00888671875, | |
| "grad_norm": 5.16208553314209, | |
| "learning_rate": 0.00030333333333333335, | |
| "loss": 5.8086, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.008984375, | |
| "grad_norm": 6.598042964935303, | |
| "learning_rate": 0.0003066666666666667, | |
| "loss": 5.8516, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.00908203125, | |
| "grad_norm": 4.591591835021973, | |
| "learning_rate": 0.00031, | |
| "loss": 5.8555, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.0091796875, | |
| "grad_norm": 4.879761695861816, | |
| "learning_rate": 0.0003133333333333334, | |
| "loss": 5.8203, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.00927734375, | |
| "grad_norm": 5.21987771987915, | |
| "learning_rate": 0.00031666666666666665, | |
| "loss": 5.8203, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.009375, | |
| "grad_norm": 4.257232666015625, | |
| "learning_rate": 0.00032, | |
| "loss": 5.8047, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.00947265625, | |
| "grad_norm": 6.07011604309082, | |
| "learning_rate": 0.0003233333333333333, | |
| "loss": 5.8359, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.0095703125, | |
| "grad_norm": 5.662813186645508, | |
| "learning_rate": 0.0003266666666666667, | |
| "loss": 5.8633, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.00966796875, | |
| "grad_norm": 4.59433650970459, | |
| "learning_rate": 0.00033, | |
| "loss": 5.8086, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.009765625, | |
| "grad_norm": 4.295780181884766, | |
| "learning_rate": 0.0003333333333333333, | |
| "loss": 5.8008, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.00986328125, | |
| "grad_norm": 4.587396144866943, | |
| "learning_rate": 0.0003366666666666667, | |
| "loss": 5.8008, | |
| "step": 101 | |
| }, | |
| { | |
| "epoch": 0.0099609375, | |
| "grad_norm": 4.299502849578857, | |
| "learning_rate": 0.00034, | |
| "loss": 5.7773, | |
| "step": 102 | |
| }, | |
| { | |
| "epoch": 0.01005859375, | |
| "grad_norm": 4.284260272979736, | |
| "learning_rate": 0.00034333333333333335, | |
| "loss": 5.793, | |
| "step": 103 | |
| }, | |
| { | |
| "epoch": 0.01015625, | |
| "grad_norm": 6.048828601837158, | |
| "learning_rate": 0.00034666666666666667, | |
| "loss": 5.8008, | |
| "step": 104 | |
| }, | |
| { | |
| "epoch": 0.01025390625, | |
| "grad_norm": 4.235161304473877, | |
| "learning_rate": 0.00035, | |
| "loss": 5.7656, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.0103515625, | |
| "grad_norm": 5.187899589538574, | |
| "learning_rate": 0.0003533333333333333, | |
| "loss": 5.8125, | |
| "step": 106 | |
| }, | |
| { | |
| "epoch": 0.01044921875, | |
| "grad_norm": 4.133037567138672, | |
| "learning_rate": 0.0003566666666666667, | |
| "loss": 5.8047, | |
| "step": 107 | |
| }, | |
| { | |
| "epoch": 0.010546875, | |
| "grad_norm": 5.822926044464111, | |
| "learning_rate": 0.00035999999999999997, | |
| "loss": 5.8281, | |
| "step": 108 | |
| }, | |
| { | |
| "epoch": 0.01064453125, | |
| "grad_norm": 4.3357672691345215, | |
| "learning_rate": 0.00036333333333333335, | |
| "loss": 5.7734, | |
| "step": 109 | |
| }, | |
| { | |
| "epoch": 0.0107421875, | |
| "grad_norm": 4.930606842041016, | |
| "learning_rate": 0.00036666666666666667, | |
| "loss": 5.7812, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.01083984375, | |
| "grad_norm": 4.797028064727783, | |
| "learning_rate": 0.00037, | |
| "loss": 5.7695, | |
| "step": 111 | |
| }, | |
| { | |
| "epoch": 0.0109375, | |
| "grad_norm": 3.1973586082458496, | |
| "learning_rate": 0.0003733333333333334, | |
| "loss": 5.7539, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 0.01103515625, | |
| "grad_norm": 4.5399980545043945, | |
| "learning_rate": 0.00037666666666666664, | |
| "loss": 5.7852, | |
| "step": 113 | |
| }, | |
| { | |
| "epoch": 0.0111328125, | |
| "grad_norm": 4.550619602203369, | |
| "learning_rate": 0.00038, | |
| "loss": 5.7773, | |
| "step": 114 | |
| }, | |
| { | |
| "epoch": 0.01123046875, | |
| "grad_norm": 5.377904415130615, | |
| "learning_rate": 0.00038333333333333334, | |
| "loss": 5.7891, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.011328125, | |
| "grad_norm": 4.06483268737793, | |
| "learning_rate": 0.00038666666666666667, | |
| "loss": 5.6992, | |
| "step": 116 | |
| }, | |
| { | |
| "epoch": 0.01142578125, | |
| "grad_norm": 3.8046791553497314, | |
| "learning_rate": 0.00039000000000000005, | |
| "loss": 5.7344, | |
| "step": 117 | |
| }, | |
| { | |
| "epoch": 0.0115234375, | |
| "grad_norm": 4.709420204162598, | |
| "learning_rate": 0.0003933333333333333, | |
| "loss": 5.7461, | |
| "step": 118 | |
| }, | |
| { | |
| "epoch": 0.01162109375, | |
| "grad_norm": 4.36158561706543, | |
| "learning_rate": 0.0003966666666666667, | |
| "loss": 5.75, | |
| "step": 119 | |
| }, | |
| { | |
| "epoch": 0.01171875, | |
| "grad_norm": 4.972657680511475, | |
| "learning_rate": 0.0004, | |
| "loss": 5.7188, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.01181640625, | |
| "grad_norm": 3.862230062484741, | |
| "learning_rate": 0.00040333333333333334, | |
| "loss": 5.7617, | |
| "step": 121 | |
| }, | |
| { | |
| "epoch": 0.0119140625, | |
| "grad_norm": 6.694273948669434, | |
| "learning_rate": 0.00040666666666666667, | |
| "loss": 5.7734, | |
| "step": 122 | |
| }, | |
| { | |
| "epoch": 0.01201171875, | |
| "grad_norm": 4.289857864379883, | |
| "learning_rate": 0.00041, | |
| "loss": 5.7539, | |
| "step": 123 | |
| }, | |
| { | |
| "epoch": 0.012109375, | |
| "grad_norm": 4.241764545440674, | |
| "learning_rate": 0.0004133333333333333, | |
| "loss": 5.7422, | |
| "step": 124 | |
| }, | |
| { | |
| "epoch": 0.01220703125, | |
| "grad_norm": 5.350276947021484, | |
| "learning_rate": 0.0004166666666666667, | |
| "loss": 5.7578, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.0123046875, | |
| "grad_norm": 4.058553695678711, | |
| "learning_rate": 0.00042, | |
| "loss": 5.6992, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 0.01240234375, | |
| "grad_norm": 4.70885705947876, | |
| "learning_rate": 0.00042333333333333334, | |
| "loss": 5.7383, | |
| "step": 127 | |
| }, | |
| { | |
| "epoch": 0.0125, | |
| "grad_norm": 4.190490245819092, | |
| "learning_rate": 0.0004266666666666667, | |
| "loss": 5.7305, | |
| "step": 128 | |
| }, | |
| { | |
| "epoch": 0.01259765625, | |
| "grad_norm": 6.176610469818115, | |
| "learning_rate": 0.00043, | |
| "loss": 5.7344, | |
| "step": 129 | |
| }, | |
| { | |
| "epoch": 0.0126953125, | |
| "grad_norm": 4.583580017089844, | |
| "learning_rate": 0.00043333333333333337, | |
| "loss": 5.7266, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.01279296875, | |
| "grad_norm": 3.8871593475341797, | |
| "learning_rate": 0.00043666666666666664, | |
| "loss": 5.7422, | |
| "step": 131 | |
| }, | |
| { | |
| "epoch": 0.012890625, | |
| "grad_norm": 6.952763557434082, | |
| "learning_rate": 0.00044, | |
| "loss": 5.7812, | |
| "step": 132 | |
| }, | |
| { | |
| "epoch": 0.01298828125, | |
| "grad_norm": 4.236309051513672, | |
| "learning_rate": 0.00044333333333333334, | |
| "loss": 5.75, | |
| "step": 133 | |
| }, | |
| { | |
| "epoch": 0.0130859375, | |
| "grad_norm": 7.308345794677734, | |
| "learning_rate": 0.00044666666666666666, | |
| "loss": 5.8125, | |
| "step": 134 | |
| }, | |
| { | |
| "epoch": 0.01318359375, | |
| "grad_norm": 8.599268913269043, | |
| "learning_rate": 0.00045000000000000004, | |
| "loss": 5.918, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.01328125, | |
| "grad_norm": 4.937841415405273, | |
| "learning_rate": 0.0004533333333333333, | |
| "loss": 5.8242, | |
| "step": 136 | |
| }, | |
| { | |
| "epoch": 0.01337890625, | |
| "grad_norm": 4.781856536865234, | |
| "learning_rate": 0.0004566666666666667, | |
| "loss": 5.7891, | |
| "step": 137 | |
| }, | |
| { | |
| "epoch": 0.0134765625, | |
| "grad_norm": 7.261330604553223, | |
| "learning_rate": 0.00046, | |
| "loss": 5.8203, | |
| "step": 138 | |
| }, | |
| { | |
| "epoch": 0.01357421875, | |
| "grad_norm": 5.891605854034424, | |
| "learning_rate": 0.00046333333333333334, | |
| "loss": 5.875, | |
| "step": 139 | |
| }, | |
| { | |
| "epoch": 0.013671875, | |
| "grad_norm": 7.775816440582275, | |
| "learning_rate": 0.00046666666666666666, | |
| "loss": 5.8672, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.01376953125, | |
| "grad_norm": 3.8871777057647705, | |
| "learning_rate": 0.00047, | |
| "loss": 5.8359, | |
| "step": 141 | |
| }, | |
| { | |
| "epoch": 0.0138671875, | |
| "grad_norm": 5.772259712219238, | |
| "learning_rate": 0.00047333333333333336, | |
| "loss": 5.8477, | |
| "step": 142 | |
| }, | |
| { | |
| "epoch": 0.01396484375, | |
| "grad_norm": 4.485783100128174, | |
| "learning_rate": 0.0004766666666666667, | |
| "loss": 5.793, | |
| "step": 143 | |
| }, | |
| { | |
| "epoch": 0.0140625, | |
| "grad_norm": 4.418201446533203, | |
| "learning_rate": 0.00048, | |
| "loss": 5.7812, | |
| "step": 144 | |
| }, | |
| { | |
| "epoch": 0.01416015625, | |
| "grad_norm": 7.3408074378967285, | |
| "learning_rate": 0.00048333333333333334, | |
| "loss": 5.8516, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.0142578125, | |
| "grad_norm": 5.989964962005615, | |
| "learning_rate": 0.0004866666666666667, | |
| "loss": 5.8945, | |
| "step": 146 | |
| }, | |
| { | |
| "epoch": 0.01435546875, | |
| "grad_norm": 4.477835655212402, | |
| "learning_rate": 0.00049, | |
| "loss": 5.8477, | |
| "step": 147 | |
| }, | |
| { | |
| "epoch": 0.014453125, | |
| "grad_norm": 6.493783950805664, | |
| "learning_rate": 0.0004933333333333334, | |
| "loss": 5.8594, | |
| "step": 148 | |
| }, | |
| { | |
| "epoch": 0.01455078125, | |
| "grad_norm": 6.190314292907715, | |
| "learning_rate": 0.0004966666666666666, | |
| "loss": 5.8906, | |
| "step": 149 | |
| }, | |
| { | |
| "epoch": 0.0146484375, | |
| "grad_norm": 6.708803653717041, | |
| "learning_rate": 0.0005, | |
| "loss": 5.8711, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.01474609375, | |
| "grad_norm": 5.7710113525390625, | |
| "learning_rate": 0.0004999999890938886, | |
| "loss": 5.8633, | |
| "step": 151 | |
| }, | |
| { | |
| "epoch": 0.01484375, | |
| "grad_norm": 5.553577899932861, | |
| "learning_rate": 0.0004999999563755552, | |
| "loss": 5.8594, | |
| "step": 152 | |
| }, | |
| { | |
| "epoch": 0.01494140625, | |
| "grad_norm": 4.852464199066162, | |
| "learning_rate": 0.0004999999018450032, | |
| "loss": 5.8555, | |
| "step": 153 | |
| }, | |
| { | |
| "epoch": 0.0150390625, | |
| "grad_norm": 4.127274990081787, | |
| "learning_rate": 0.0004999998255022377, | |
| "loss": 5.793, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 0.01513671875, | |
| "grad_norm": 5.139339923858643, | |
| "learning_rate": 0.0004999997273472664, | |
| "loss": 5.8398, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 0.015234375, | |
| "grad_norm": 3.9165873527526855, | |
| "learning_rate": 0.0004999996073800985, | |
| "loss": 5.7852, | |
| "step": 156 | |
| }, | |
| { | |
| "epoch": 0.01533203125, | |
| "grad_norm": 4.544178485870361, | |
| "learning_rate": 0.0004999994656007457, | |
| "loss": 5.8125, | |
| "step": 157 | |
| }, | |
| { | |
| "epoch": 0.0154296875, | |
| "grad_norm": 4.998808860778809, | |
| "learning_rate": 0.0004999993020092219, | |
| "loss": 5.8359, | |
| "step": 158 | |
| }, | |
| { | |
| "epoch": 0.01552734375, | |
| "grad_norm": 5.184920787811279, | |
| "learning_rate": 0.0004999991166055426, | |
| "loss": 5.8281, | |
| "step": 159 | |
| }, | |
| { | |
| "epoch": 0.015625, | |
| "grad_norm": 3.716250419616699, | |
| "learning_rate": 0.0004999989093897262, | |
| "loss": 5.7969, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.01572265625, | |
| "grad_norm": 3.8317952156066895, | |
| "learning_rate": 0.0004999986803617926, | |
| "loss": 5.7617, | |
| "step": 161 | |
| }, | |
| { | |
| "epoch": 0.0158203125, | |
| "grad_norm": 4.461795330047607, | |
| "learning_rate": 0.0004999984295217641, | |
| "loss": 5.8047, | |
| "step": 162 | |
| }, | |
| { | |
| "epoch": 0.01591796875, | |
| "grad_norm": 3.0825703144073486, | |
| "learning_rate": 0.0004999981568696648, | |
| "loss": 5.7656, | |
| "step": 163 | |
| }, | |
| { | |
| "epoch": 0.016015625, | |
| "grad_norm": 4.151459217071533, | |
| "learning_rate": 0.0004999978624055212, | |
| "loss": 5.7617, | |
| "step": 164 | |
| }, | |
| { | |
| "epoch": 0.01611328125, | |
| "grad_norm": 3.66987681388855, | |
| "learning_rate": 0.0004999975461293621, | |
| "loss": 5.7461, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 0.0162109375, | |
| "grad_norm": 4.092290878295898, | |
| "learning_rate": 0.0004999972080412177, | |
| "loss": 5.75, | |
| "step": 166 | |
| }, | |
| { | |
| "epoch": 0.01630859375, | |
| "grad_norm": 4.104146480560303, | |
| "learning_rate": 0.0004999968481411212, | |
| "loss": 5.7656, | |
| "step": 167 | |
| }, | |
| { | |
| "epoch": 0.01640625, | |
| "grad_norm": 4.437919616699219, | |
| "learning_rate": 0.0004999964664291073, | |
| "loss": 5.7812, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 0.01650390625, | |
| "grad_norm": 7.200653553009033, | |
| "learning_rate": 0.0004999960629052131, | |
| "loss": 5.7578, | |
| "step": 169 | |
| }, | |
| { | |
| "epoch": 0.0166015625, | |
| "grad_norm": 2.731268882751465, | |
| "learning_rate": 0.0004999956375694776, | |
| "loss": 5.707, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.01669921875, | |
| "grad_norm": 5.332357406616211, | |
| "learning_rate": 0.0004999951904219421, | |
| "loss": 5.7461, | |
| "step": 171 | |
| }, | |
| { | |
| "epoch": 0.016796875, | |
| "grad_norm": 3.130514144897461, | |
| "learning_rate": 0.0004999947214626501, | |
| "loss": 5.7109, | |
| "step": 172 | |
| }, | |
| { | |
| "epoch": 0.01689453125, | |
| "grad_norm": 3.6535258293151855, | |
| "learning_rate": 0.0004999942306916466, | |
| "loss": 5.7344, | |
| "step": 173 | |
| }, | |
| { | |
| "epoch": 0.0169921875, | |
| "grad_norm": 3.5438027381896973, | |
| "learning_rate": 0.0004999937181089796, | |
| "loss": 5.6953, | |
| "step": 174 | |
| }, | |
| { | |
| "epoch": 0.01708984375, | |
| "grad_norm": 4.228607177734375, | |
| "learning_rate": 0.0004999931837146987, | |
| "loss": 5.7031, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 0.0171875, | |
| "grad_norm": 3.217113971710205, | |
| "learning_rate": 0.0004999926275088556, | |
| "loss": 5.7148, | |
| "step": 176 | |
| }, | |
| { | |
| "epoch": 0.01728515625, | |
| "grad_norm": 4.9072041511535645, | |
| "learning_rate": 0.0004999920494915043, | |
| "loss": 5.75, | |
| "step": 177 | |
| }, | |
| { | |
| "epoch": 0.0173828125, | |
| "grad_norm": 2.8025128841400146, | |
| "learning_rate": 0.0004999914496627009, | |
| "loss": 5.7148, | |
| "step": 178 | |
| }, | |
| { | |
| "epoch": 0.01748046875, | |
| "grad_norm": 2.481431245803833, | |
| "learning_rate": 0.0004999908280225035, | |
| "loss": 5.6445, | |
| "step": 179 | |
| }, | |
| { | |
| "epoch": 0.017578125, | |
| "grad_norm": 3.0694146156311035, | |
| "learning_rate": 0.0004999901845709722, | |
| "loss": 5.6602, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.01767578125, | |
| "grad_norm": 2.6255242824554443, | |
| "learning_rate": 0.0004999895193081698, | |
| "loss": 5.6523, | |
| "step": 181 | |
| }, | |
| { | |
| "epoch": 0.0177734375, | |
| "grad_norm": 3.0787289142608643, | |
| "learning_rate": 0.0004999888322341602, | |
| "loss": 5.6367, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 0.01787109375, | |
| "grad_norm": 3.5675113201141357, | |
| "learning_rate": 0.0004999881233490104, | |
| "loss": 5.6875, | |
| "step": 183 | |
| }, | |
| { | |
| "epoch": 0.01796875, | |
| "grad_norm": 3.278024673461914, | |
| "learning_rate": 0.0004999873926527891, | |
| "loss": 5.6406, | |
| "step": 184 | |
| }, | |
| { | |
| "epoch": 0.01806640625, | |
| "grad_norm": 3.4470205307006836, | |
| "learning_rate": 0.0004999866401455671, | |
| "loss": 5.6328, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 0.0181640625, | |
| "grad_norm": 2.537705659866333, | |
| "learning_rate": 0.0004999858658274172, | |
| "loss": 5.625, | |
| "step": 186 | |
| }, | |
| { | |
| "epoch": 0.01826171875, | |
| "grad_norm": 3.446849822998047, | |
| "learning_rate": 0.0004999850696984147, | |
| "loss": 5.6367, | |
| "step": 187 | |
| }, | |
| { | |
| "epoch": 0.018359375, | |
| "grad_norm": 2.9557571411132812, | |
| "learning_rate": 0.0004999842517586367, | |
| "loss": 5.6523, | |
| "step": 188 | |
| }, | |
| { | |
| "epoch": 0.01845703125, | |
| "grad_norm": 2.224954605102539, | |
| "learning_rate": 0.0004999834120081624, | |
| "loss": 5.6133, | |
| "step": 189 | |
| }, | |
| { | |
| "epoch": 0.0185546875, | |
| "grad_norm": 2.847534418106079, | |
| "learning_rate": 0.0004999825504470732, | |
| "loss": 5.5977, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.01865234375, | |
| "grad_norm": 3.08176851272583, | |
| "learning_rate": 0.0004999816670754527, | |
| "loss": 5.6094, | |
| "step": 191 | |
| }, | |
| { | |
| "epoch": 0.01875, | |
| "grad_norm": 2.509631872177124, | |
| "learning_rate": 0.0004999807618933866, | |
| "loss": 5.582, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 0.01884765625, | |
| "grad_norm": 2.551470994949341, | |
| "learning_rate": 0.0004999798349009626, | |
| "loss": 5.582, | |
| "step": 193 | |
| }, | |
| { | |
| "epoch": 0.0189453125, | |
| "grad_norm": 2.8080625534057617, | |
| "learning_rate": 0.0004999788860982706, | |
| "loss": 5.5898, | |
| "step": 194 | |
| }, | |
| { | |
| "epoch": 0.01904296875, | |
| "grad_norm": 2.784714698791504, | |
| "learning_rate": 0.0004999779154854024, | |
| "loss": 5.6016, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 0.019140625, | |
| "grad_norm": 2.6262359619140625, | |
| "learning_rate": 0.0004999769230624524, | |
| "loss": 5.5664, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 0.01923828125, | |
| "grad_norm": 2.2458934783935547, | |
| "learning_rate": 0.0004999759088295165, | |
| "loss": 5.5508, | |
| "step": 197 | |
| }, | |
| { | |
| "epoch": 0.0193359375, | |
| "grad_norm": 2.5689525604248047, | |
| "learning_rate": 0.0004999748727866932, | |
| "loss": 5.5625, | |
| "step": 198 | |
| }, | |
| { | |
| "epoch": 0.01943359375, | |
| "grad_norm": 2.44174861907959, | |
| "learning_rate": 0.0004999738149340828, | |
| "loss": 5.5352, | |
| "step": 199 | |
| }, | |
| { | |
| "epoch": 0.01953125, | |
| "grad_norm": 2.5862767696380615, | |
| "learning_rate": 0.000499972735271788, | |
| "loss": 5.5234, | |
| "step": 200 | |
| } | |
| ], | |
| "logging_steps": 1.0, | |
| "max_steps": 10240, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 200, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1.2245011890438144e+18, | |
| "train_batch_size": 64, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |