{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.01953125,
  "eval_steps": 500,
  "global_step": 200,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 9.765625e-05,
      "grad_norm": 13.125093460083008,
      "learning_rate": 1.6666666666666669e-06,
      "loss": 6.0473,
      "step": 1
    },
    {
      "epoch": 0.0001953125,
      "grad_norm": 13.109691619873047,
      "learning_rate": 3.3333333333333337e-06,
      "loss": 6.0151,
      "step": 2
    },
    {
      "epoch": 0.00029296875,
      "grad_norm": 12.975897789001465,
      "learning_rate": 5e-06,
      "loss": 6.0374,
      "step": 3
    },
    {
      "epoch": 0.000390625,
      "grad_norm": 12.861470222473145,
      "learning_rate": 6.6666666666666675e-06,
      "loss": 5.9534,
      "step": 4
    },
    {
      "epoch": 0.00048828125,
      "grad_norm": 11.551366806030273,
      "learning_rate": 8.333333333333334e-06,
      "loss": 5.7805,
      "step": 5
    },
    {
      "epoch": 0.0005859375,
      "grad_norm": 7.968364238739014,
      "learning_rate": 1e-05,
      "loss": 5.5664,
      "step": 6
    },
    {
      "epoch": 0.00068359375,
      "grad_norm": 6.854646682739258,
      "learning_rate": 1.1666666666666668e-05,
      "loss": 5.4982,
      "step": 7
    },
    {
      "epoch": 0.00078125,
      "grad_norm": 3.759798049926758,
      "learning_rate": 1.3333333333333335e-05,
      "loss": 5.1824,
      "step": 8
    },
    {
      "epoch": 0.00087890625,
      "grad_norm": 3.48822283744812,
      "learning_rate": 1.5e-05,
      "loss": 5.0667,
      "step": 9
    },
    {
      "epoch": 0.0009765625,
      "grad_norm": 3.1011886596679688,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 5.0028,
      "step": 10
    },
    {
      "epoch": 0.00107421875,
      "grad_norm": 2.5868849754333496,
      "learning_rate": 1.8333333333333333e-05,
      "loss": 4.7787,
      "step": 11
    },
    {
      "epoch": 0.001171875,
      "grad_norm": 2.378497838973999,
      "learning_rate": 2e-05,
      "loss": 4.6855,
      "step": 12
    },
    {
      "epoch": 0.00126953125,
      "grad_norm": 2.2101738452911377,
      "learning_rate": 2.1666666666666667e-05,
      "loss": 4.6042,
      "step": 13
    },
    {
      "epoch": 0.0013671875,
      "grad_norm": 1.9938961267471313,
      "learning_rate": 2.3333333333333336e-05,
      "loss": 4.3843,
      "step": 14
    },
    {
      "epoch": 0.00146484375,
      "grad_norm": 1.9345463514328003,
      "learning_rate": 2.5e-05,
      "loss": 4.2548,
      "step": 15
    },
    {
      "epoch": 0.0015625,
      "grad_norm": 1.7730776071548462,
      "learning_rate": 2.666666666666667e-05,
      "loss": 4.1363,
      "step": 16
    },
    {
      "epoch": 0.00166015625,
      "grad_norm": 1.58334481716156,
      "learning_rate": 2.8333333333333332e-05,
      "loss": 3.9704,
      "step": 17
    },
    {
      "epoch": 0.0017578125,
      "grad_norm": 1.4827001094818115,
      "learning_rate": 3e-05,
      "loss": 3.81,
      "step": 18
    },
    {
      "epoch": 0.00185546875,
      "grad_norm": 1.4140430688858032,
      "learning_rate": 3.166666666666667e-05,
      "loss": 3.7305,
      "step": 19
    },
    {
      "epoch": 0.001953125,
      "grad_norm": 1.3934496641159058,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 3.5375,
      "step": 20
    },
    {
      "epoch": 0.00205078125,
      "grad_norm": 1.3384771347045898,
      "learning_rate": 3.5000000000000004e-05,
      "loss": 3.5217,
      "step": 21
    },
    {
      "epoch": 0.0021484375,
      "grad_norm": 1.2228978872299194,
      "learning_rate": 3.6666666666666666e-05,
      "loss": 3.3742,
      "step": 22
    },
    {
      "epoch": 0.00224609375,
      "grad_norm": 1.1775028705596924,
      "learning_rate": 3.8333333333333334e-05,
      "loss": 3.2626,
      "step": 23
    },
    {
      "epoch": 0.00234375,
      "grad_norm": 1.0886842012405396,
      "learning_rate": 4e-05,
      "loss": 3.1864,
      "step": 24
    },
    {
      "epoch": 0.00244140625,
      "grad_norm": 1.0981535911560059,
      "learning_rate": 4.1666666666666665e-05,
      "loss": 3.0962,
      "step": 25
    },
    {
      "epoch": 0.0025390625,
      "grad_norm": 1.009294867515564,
      "learning_rate": 4.3333333333333334e-05,
      "loss": 3.0507,
      "step": 26
    },
    {
      "epoch": 0.00263671875,
      "grad_norm": 0.9390103816986084,
      "learning_rate": 4.4999999999999996e-05,
      "loss": 2.9579,
      "step": 27
    },
    {
      "epoch": 0.002734375,
      "grad_norm": 0.8647847175598145,
      "learning_rate": 4.666666666666667e-05,
      "loss": 2.8166,
      "step": 28
    },
    {
      "epoch": 0.00283203125,
      "grad_norm": 0.8606237769126892,
      "learning_rate": 4.8333333333333334e-05,
      "loss": 2.7919,
      "step": 29
    },
    {
      "epoch": 0.0029296875,
      "grad_norm": 0.8069576025009155,
      "learning_rate": 5e-05,
      "loss": 2.7426,
      "step": 30
    },
    {
      "epoch": 0.00302734375,
      "grad_norm": 0.7007808685302734,
      "learning_rate": 5.1666666666666664e-05,
      "loss": 2.6926,
      "step": 31
    },
    {
      "epoch": 0.003125,
      "grad_norm": 0.6825646162033081,
      "learning_rate": 5.333333333333334e-05,
      "loss": 2.6783,
      "step": 32
    },
    {
      "epoch": 0.00322265625,
      "grad_norm": 0.7054751515388489,
      "learning_rate": 5.5e-05,
      "loss": 2.6239,
      "step": 33
    },
    {
      "epoch": 0.0033203125,
      "grad_norm": 0.7101700305938721,
      "learning_rate": 5.6666666666666664e-05,
      "loss": 2.5993,
      "step": 34
    },
    {
      "epoch": 0.00341796875,
      "grad_norm": 0.56828773021698,
      "learning_rate": 5.833333333333333e-05,
      "loss": 2.5258,
      "step": 35
    },
    {
      "epoch": 0.003515625,
      "grad_norm": 0.5513983368873596,
      "learning_rate": 6e-05,
      "loss": 2.5018,
      "step": 36
    },
    {
      "epoch": 0.00361328125,
      "grad_norm": 0.573391318321228,
      "learning_rate": 6.166666666666667e-05,
      "loss": 2.4881,
      "step": 37
    },
    {
      "epoch": 0.0037109375,
      "grad_norm": 0.4520920515060425,
      "learning_rate": 6.333333333333335e-05,
      "loss": 2.4489,
      "step": 38
    },
    {
      "epoch": 0.00380859375,
      "grad_norm": 0.43038809299468994,
      "learning_rate": 6.500000000000001e-05,
      "loss": 2.4387,
      "step": 39
    },
    {
      "epoch": 0.00390625,
      "grad_norm": 0.4071808457374573,
      "learning_rate": 6.666666666666667e-05,
      "loss": 2.4261,
      "step": 40
    },
    {
      "epoch": 0.00400390625,
      "grad_norm": 0.3631410300731659,
      "learning_rate": 6.833333333333333e-05,
      "loss": 2.3656,
      "step": 41
    },
    {
      "epoch": 0.0041015625,
      "grad_norm": 0.33457818627357483,
      "learning_rate": 7.000000000000001e-05,
      "loss": 2.4011,
      "step": 42
    },
    {
      "epoch": 0.00419921875,
      "grad_norm": 0.3582305610179901,
      "learning_rate": 7.166666666666667e-05,
      "loss": 2.3662,
      "step": 43
    },
    {
      "epoch": 0.004296875,
      "grad_norm": 0.4090467691421509,
      "learning_rate": 7.333333333333333e-05,
      "loss": 2.3282,
      "step": 44
    },
    {
      "epoch": 0.00439453125,
      "grad_norm": 0.34438556432724,
      "learning_rate": 7.5e-05,
      "loss": 2.2991,
      "step": 45
    },
    {
      "epoch": 0.0044921875,
      "grad_norm": 0.29381102323532104,
      "learning_rate": 7.666666666666667e-05,
      "loss": 2.2506,
      "step": 46
    },
    {
      "epoch": 0.00458984375,
      "grad_norm": 0.4019562304019928,
      "learning_rate": 7.833333333333334e-05,
      "loss": 2.2494,
      "step": 47
    },
    {
      "epoch": 0.0046875,
      "grad_norm": 0.3183911144733429,
      "learning_rate": 8e-05,
      "loss": 2.2853,
      "step": 48
    },
    {
      "epoch": 0.00478515625,
      "grad_norm": 0.33041393756866455,
      "learning_rate": 8.166666666666667e-05,
      "loss": 2.2251,
      "step": 49
    },
    {
      "epoch": 0.0048828125,
      "grad_norm": 0.28936123847961426,
      "learning_rate": 8.333333333333333e-05,
      "loss": 2.2308,
      "step": 50
    },
    {
      "epoch": 0.00498046875,
      "grad_norm": 0.36125779151916504,
      "learning_rate": 8.5e-05,
      "loss": 2.2473,
      "step": 51
    },
    {
      "epoch": 0.005078125,
      "grad_norm": 0.2832348942756653,
      "learning_rate": 8.666666666666667e-05,
      "loss": 2.201,
      "step": 52
    },
    {
      "epoch": 0.00517578125,
      "grad_norm": 0.3250133693218231,
      "learning_rate": 8.833333333333333e-05,
      "loss": 2.1596,
      "step": 53
    },
    {
      "epoch": 0.0052734375,
      "grad_norm": 0.31502828001976013,
      "learning_rate": 8.999999999999999e-05,
      "loss": 2.2183,
      "step": 54
    },
    {
      "epoch": 0.00537109375,
      "grad_norm": 0.33068645000457764,
      "learning_rate": 9.166666666666667e-05,
      "loss": 2.2254,
      "step": 55
    },
    {
      "epoch": 0.00546875,
      "grad_norm": 0.30684661865234375,
      "learning_rate": 9.333333333333334e-05,
      "loss": 2.2572,
      "step": 56
    },
    {
      "epoch": 0.00556640625,
      "grad_norm": 0.31540846824645996,
      "learning_rate": 9.5e-05,
      "loss": 2.1594,
      "step": 57
    },
    {
      "epoch": 0.0056640625,
      "grad_norm": 0.23259752988815308,
      "learning_rate": 9.666666666666667e-05,
      "loss": 2.172,
      "step": 58
    },
    {
      "epoch": 0.00576171875,
      "grad_norm": 0.26666638255119324,
      "learning_rate": 9.833333333333333e-05,
      "loss": 2.1961,
      "step": 59
    },
    {
      "epoch": 0.005859375,
      "grad_norm": 0.26295527815818787,
      "learning_rate": 0.0001,
      "loss": 2.1811,
      "step": 60
    },
    {
      "epoch": 0.00595703125,
      "grad_norm": 0.2302207201719284,
      "learning_rate": 0.00010166666666666667,
      "loss": 2.1431,
      "step": 61
    },
    {
      "epoch": 0.0060546875,
      "grad_norm": 0.468537837266922,
      "learning_rate": 0.00010333333333333333,
      "loss": 2.133,
      "step": 62
    },
    {
      "epoch": 0.00615234375,
      "grad_norm": 0.27946797013282776,
      "learning_rate": 0.000105,
      "loss": 2.1917,
      "step": 63
    },
    {
      "epoch": 0.00625,
      "grad_norm": 0.26789286732673645,
      "learning_rate": 0.00010666666666666668,
      "loss": 2.1417,
      "step": 64
    },
    {
      "epoch": 0.00634765625,
      "grad_norm": 0.22977805137634277,
      "learning_rate": 0.00010833333333333334,
      "loss": 2.1371,
      "step": 65
    },
    {
      "epoch": 0.0064453125,
      "grad_norm": 0.2590682804584503,
      "learning_rate": 0.00011,
      "loss": 2.113,
      "step": 66
    },
    {
      "epoch": 0.00654296875,
      "grad_norm": 0.2660805583000183,
      "learning_rate": 0.00011166666666666667,
      "loss": 2.1346,
      "step": 67
    },
    {
      "epoch": 0.006640625,
      "grad_norm": 0.24538874626159668,
      "learning_rate": 0.00011333333333333333,
      "loss": 2.1078,
      "step": 68
    },
    {
      "epoch": 0.00673828125,
      "grad_norm": 0.2986001968383789,
      "learning_rate": 0.000115,
      "loss": 2.1048,
      "step": 69
    },
    {
      "epoch": 0.0068359375,
      "grad_norm": 0.30193910002708435,
      "learning_rate": 0.00011666666666666667,
      "loss": 2.135,
      "step": 70
    },
    {
      "epoch": 0.00693359375,
      "grad_norm": 0.25153177976608276,
      "learning_rate": 0.00011833333333333334,
      "loss": 2.1101,
      "step": 71
    },
    {
      "epoch": 0.00703125,
      "grad_norm": 0.7685809135437012,
      "learning_rate": 0.00012,
      "loss": 2.0833,
      "step": 72
    },
    {
      "epoch": 0.00712890625,
      "grad_norm": 0.24468126893043518,
      "learning_rate": 0.00012166666666666668,
      "loss": 2.1409,
      "step": 73
    },
    {
      "epoch": 0.0072265625,
      "grad_norm": 0.3070752024650574,
      "learning_rate": 0.00012333333333333334,
      "loss": 2.1402,
      "step": 74
    },
    {
      "epoch": 0.00732421875,
      "grad_norm": 0.352273553609848,
      "learning_rate": 0.000125,
      "loss": 2.171,
      "step": 75
    },
    {
      "epoch": 0.007421875,
      "grad_norm": 0.34806111454963684,
      "learning_rate": 0.0001266666666666667,
      "loss": 2.1155,
      "step": 76
    },
    {
      "epoch": 0.00751953125,
      "grad_norm": 0.317414253950119,
      "learning_rate": 0.00012833333333333333,
      "loss": 2.0812,
      "step": 77
    },
    {
      "epoch": 0.0076171875,
      "grad_norm": 0.3320539891719818,
      "learning_rate": 0.00013000000000000002,
      "loss": 2.0987,
      "step": 78
    },
    {
      "epoch": 0.00771484375,
      "grad_norm": 0.3315901756286621,
      "learning_rate": 0.00013166666666666665,
      "loss": 2.1025,
      "step": 79
    },
    {
      "epoch": 0.0078125,
      "grad_norm": 0.29021286964416504,
      "learning_rate": 0.00013333333333333334,
      "loss": 2.1474,
      "step": 80
    },
    {
      "epoch": 0.00791015625,
      "grad_norm": 0.2593044936656952,
      "learning_rate": 0.000135,
      "loss": 2.0667,
      "step": 81
    },
    {
      "epoch": 0.0080078125,
      "grad_norm": 0.3192054033279419,
      "learning_rate": 0.00013666666666666666,
      "loss": 2.0764,
      "step": 82
    },
    {
      "epoch": 0.00810546875,
      "grad_norm": 0.26053664088249207,
      "learning_rate": 0.00013833333333333333,
      "loss": 2.0698,
      "step": 83
    },
    {
      "epoch": 0.008203125,
      "grad_norm": 0.24790963530540466,
      "learning_rate": 0.00014000000000000001,
      "loss": 2.124,
      "step": 84
    },
    {
      "epoch": 0.00830078125,
      "grad_norm": 0.2546316087245941,
      "learning_rate": 0.00014166666666666668,
      "loss": 2.1025,
      "step": 85
    },
    {
      "epoch": 0.0083984375,
      "grad_norm": 0.22275258600711823,
      "learning_rate": 0.00014333333333333334,
      "loss": 2.0778,
      "step": 86
    },
    {
      "epoch": 0.00849609375,
      "grad_norm": 0.22855599224567413,
      "learning_rate": 0.000145,
      "loss": 2.1113,
      "step": 87
    },
    {
      "epoch": 0.00859375,
      "grad_norm": 0.2456902116537094,
      "learning_rate": 0.00014666666666666666,
      "loss": 2.1399,
      "step": 88
    },
    {
      "epoch": 0.00869140625,
      "grad_norm": 0.22144420444965363,
      "learning_rate": 0.00014833333333333335,
      "loss": 2.0211,
      "step": 89
    },
    {
      "epoch": 0.0087890625,
      "grad_norm": 0.254894495010376,
      "learning_rate": 0.00015,
      "loss": 2.1382,
      "step": 90
    },
    {
      "epoch": 0.00888671875,
      "grad_norm": 0.2729082703590393,
      "learning_rate": 0.00015166666666666668,
      "loss": 2.1271,
      "step": 91
    },
    {
      "epoch": 0.008984375,
      "grad_norm": 0.2564642131328583,
      "learning_rate": 0.00015333333333333334,
      "loss": 2.0423,
      "step": 92
    },
    {
      "epoch": 0.00908203125,
      "grad_norm": 0.24927419424057007,
      "learning_rate": 0.000155,
      "loss": 2.0603,
      "step": 93
    },
    {
      "epoch": 0.0091796875,
      "grad_norm": 0.2591923475265503,
      "learning_rate": 0.0001566666666666667,
      "loss": 2.0522,
      "step": 94
    },
    {
      "epoch": 0.00927734375,
      "grad_norm": 0.3350547254085541,
      "learning_rate": 0.00015833333333333332,
      "loss": 2.1095,
      "step": 95
    },
    {
      "epoch": 0.009375,
      "grad_norm": 0.30227839946746826,
      "learning_rate": 0.00016,
      "loss": 2.121,
      "step": 96
    },
    {
      "epoch": 0.00947265625,
      "grad_norm": 0.3027198314666748,
      "learning_rate": 0.00016166666666666665,
      "loss": 2.0288,
      "step": 97
    },
    {
      "epoch": 0.0095703125,
      "grad_norm": 0.29791951179504395,
      "learning_rate": 0.00016333333333333334,
      "loss": 2.0471,
      "step": 98
    },
    {
      "epoch": 0.00966796875,
      "grad_norm": 0.30918803811073303,
      "learning_rate": 0.000165,
      "loss": 2.1036,
      "step": 99
    },
    {
      "epoch": 0.009765625,
      "grad_norm": 0.2510216534137726,
      "learning_rate": 0.00016666666666666666,
      "loss": 2.0217,
      "step": 100
    },
    {
      "epoch": 0.00986328125,
      "grad_norm": 0.288231760263443,
      "learning_rate": 0.00016833333333333335,
      "loss": 2.0178,
      "step": 101
    },
    {
      "epoch": 0.0099609375,
      "grad_norm": 0.3326691687107086,
      "learning_rate": 0.00017,
      "loss": 2.0947,
      "step": 102
    },
    {
      "epoch": 0.01005859375,
      "grad_norm": 0.3552946150302887,
      "learning_rate": 0.00017166666666666667,
      "loss": 1.9953,
      "step": 103
    },
    {
      "epoch": 0.01015625,
      "grad_norm": 0.34882935881614685,
      "learning_rate": 0.00017333333333333334,
      "loss": 2.1223,
      "step": 104
    },
    {
      "epoch": 0.01025390625,
      "grad_norm": 0.35487979650497437,
      "learning_rate": 0.000175,
      "loss": 2.0599,
      "step": 105
    },
    {
      "epoch": 0.0103515625,
      "grad_norm": 0.33561578392982483,
      "learning_rate": 0.00017666666666666666,
      "loss": 2.0398,
      "step": 106
    },
    {
      "epoch": 0.01044921875,
      "grad_norm": 0.27415409684181213,
      "learning_rate": 0.00017833333333333335,
      "loss": 2.0982,
      "step": 107
    },
    {
      "epoch": 0.010546875,
      "grad_norm": 0.28592920303344727,
      "learning_rate": 0.00017999999999999998,
      "loss": 2.0571,
      "step": 108
    },
    {
      "epoch": 0.01064453125,
      "grad_norm": 0.3228552043437958,
      "learning_rate": 0.00018166666666666667,
      "loss": 1.9923,
      "step": 109
    },
    {
      "epoch": 0.0107421875,
      "grad_norm": 0.29005661606788635,
      "learning_rate": 0.00018333333333333334,
      "loss": 2.0394,
      "step": 110
    },
    {
      "epoch": 0.01083984375,
      "grad_norm": 0.36677825450897217,
      "learning_rate": 0.000185,
      "loss": 2.0153,
      "step": 111
    },
    {
      "epoch": 0.0109375,
      "grad_norm": 0.2562806308269501,
      "learning_rate": 0.0001866666666666667,
      "loss": 2.05,
      "step": 112
    },
    {
      "epoch": 0.01103515625,
      "grad_norm": 0.2748093008995056,
      "learning_rate": 0.00018833333333333332,
      "loss": 2.0449,
      "step": 113
    },
    {
      "epoch": 0.0111328125,
      "grad_norm": 0.3924459218978882,
      "learning_rate": 0.00019,
      "loss": 2.0409,
      "step": 114
    },
    {
      "epoch": 0.01123046875,
      "grad_norm": 0.4368191063404083,
      "learning_rate": 0.00019166666666666667,
      "loss": 2.0178,
      "step": 115
    },
    {
      "epoch": 0.011328125,
      "grad_norm": 0.4236035943031311,
      "learning_rate": 0.00019333333333333333,
      "loss": 2.0518,
      "step": 116
    },
    {
      "epoch": 0.01142578125,
      "grad_norm": 0.28912851214408875,
      "learning_rate": 0.00019500000000000002,
      "loss": 2.0058,
      "step": 117
    },
    {
      "epoch": 0.0115234375,
      "grad_norm": 0.38847798109054565,
      "learning_rate": 0.00019666666666666666,
      "loss": 2.0818,
      "step": 118
    },
    {
      "epoch": 0.01162109375,
      "grad_norm": 0.29429811239242554,
      "learning_rate": 0.00019833333333333335,
      "loss": 2.004,
      "step": 119
    },
    {
      "epoch": 0.01171875,
      "grad_norm": 0.2969271242618561,
      "learning_rate": 0.0002,
      "loss": 2.046,
      "step": 120
    },
    {
      "epoch": 0.01181640625,
      "grad_norm": 0.297894150018692,
      "learning_rate": 0.00020166666666666667,
      "loss": 2.0204,
      "step": 121
    },
    {
      "epoch": 0.0119140625,
      "grad_norm": 0.28794237971305847,
      "learning_rate": 0.00020333333333333333,
      "loss": 2.0663,
      "step": 122
    },
    {
      "epoch": 0.01201171875,
      "grad_norm": 0.2766033411026001,
      "learning_rate": 0.000205,
      "loss": 2.0399,
      "step": 123
    },
    {
      "epoch": 0.012109375,
      "grad_norm": 0.3516612648963928,
      "learning_rate": 0.00020666666666666666,
      "loss": 2.0389,
      "step": 124
    },
    {
      "epoch": 0.01220703125,
      "grad_norm": 0.28204381465911865,
      "learning_rate": 0.00020833333333333335,
      "loss": 2.0084,
      "step": 125
    },
    {
      "epoch": 0.0123046875,
      "grad_norm": 0.3306240737438202,
      "learning_rate": 0.00021,
      "loss": 2.013,
      "step": 126
    },
    {
      "epoch": 0.01240234375,
      "grad_norm": 0.3221111595630646,
      "learning_rate": 0.00021166666666666667,
      "loss": 2.0312,
      "step": 127
    },
    {
      "epoch": 0.0125,
      "grad_norm": 0.2742249071598053,
      "learning_rate": 0.00021333333333333336,
      "loss": 2.0375,
      "step": 128
    },
    {
      "epoch": 0.01259765625,
      "grad_norm": 0.2785228490829468,
      "learning_rate": 0.000215,
      "loss": 2.0449,
      "step": 129
    },
    {
      "epoch": 0.0126953125,
      "grad_norm": 0.2666397988796234,
      "learning_rate": 0.00021666666666666668,
      "loss": 2.0355,
      "step": 130
    },
    {
      "epoch": 0.01279296875,
      "grad_norm": 0.22522135078907013,
      "learning_rate": 0.00021833333333333332,
      "loss": 1.9693,
      "step": 131
    },
    {
      "epoch": 0.012890625,
      "grad_norm": 0.2724483013153076,
      "learning_rate": 0.00022,
      "loss": 2.0671,
      "step": 132
    },
    {
      "epoch": 0.01298828125,
      "grad_norm": 0.2655040919780731,
      "learning_rate": 0.00022166666666666667,
      "loss": 1.9805,
      "step": 133
    },
    {
      "epoch": 0.0130859375,
      "grad_norm": 0.3194504678249359,
      "learning_rate": 0.00022333333333333333,
      "loss": 2.067,
      "step": 134
    },
    {
      "epoch": 0.01318359375,
      "grad_norm": 0.25511813163757324,
      "learning_rate": 0.00022500000000000002,
      "loss": 2.0141,
      "step": 135
    },
    {
      "epoch": 0.01328125,
      "grad_norm": 0.3995087444782257,
      "learning_rate": 0.00022666666666666666,
      "loss": 2.0278,
      "step": 136
    },
    {
      "epoch": 0.01337890625,
      "grad_norm": 0.2623380422592163,
      "learning_rate": 0.00022833333333333334,
      "loss": 1.9751,
      "step": 137
    },
    {
      "epoch": 0.0134765625,
      "grad_norm": 0.23814889788627625,
      "learning_rate": 0.00023,
      "loss": 1.969,
      "step": 138
    },
    {
      "epoch": 0.01357421875,
      "grad_norm": 0.23566491901874542,
      "learning_rate": 0.00023166666666666667,
      "loss": 2.0135,
      "step": 139
    },
    {
      "epoch": 0.013671875,
      "grad_norm": 0.2437373697757721,
      "learning_rate": 0.00023333333333333333,
      "loss": 2.0044,
      "step": 140
    },
    {
      "epoch": 0.01376953125,
      "grad_norm": 0.2861543595790863,
      "learning_rate": 0.000235,
      "loss": 2.0378,
      "step": 141
    },
    {
      "epoch": 0.0138671875,
      "grad_norm": 0.318050354719162,
      "learning_rate": 0.00023666666666666668,
      "loss": 2.0857,
      "step": 142
    },
    {
      "epoch": 0.01396484375,
      "grad_norm": 0.39669227600097656,
      "learning_rate": 0.00023833333333333334,
      "loss": 2.0535,
      "step": 143
    },
    {
      "epoch": 0.0140625,
      "grad_norm": 0.4359401762485504,
      "learning_rate": 0.00024,
      "loss": 2.0432,
      "step": 144
    },
    {
      "epoch": 0.01416015625,
      "grad_norm": 0.4532039165496826,
      "learning_rate": 0.00024166666666666667,
      "loss": 1.9909,
      "step": 145
    },
    {
      "epoch": 0.0142578125,
      "grad_norm": 0.4570695161819458,
      "learning_rate": 0.00024333333333333336,
      "loss": 2.0123,
      "step": 146
    },
    {
      "epoch": 0.01435546875,
      "grad_norm": 0.36623403429985046,
      "learning_rate": 0.000245,
      "loss": 2.0179,
      "step": 147
    },
    {
      "epoch": 0.014453125,
      "grad_norm": 0.3069714307785034,
      "learning_rate": 0.0002466666666666667,
      "loss": 2.0014,
      "step": 148
    },
    {
      "epoch": 0.01455078125,
      "grad_norm": 0.3980304002761841,
      "learning_rate": 0.0002483333333333333,
      "loss": 2.0489,
      "step": 149
    },
    {
      "epoch": 0.0146484375,
      "grad_norm": 0.31907564401626587,
      "learning_rate": 0.00025,
      "loss": 2.013,
      "step": 150
    },
    {
      "epoch": 0.01474609375,
      "grad_norm": 0.2952549159526825,
      "learning_rate": 0.00025166666666666664,
      "loss": 2.0709,
      "step": 151
    },
    {
      "epoch": 0.01484375,
      "grad_norm": 0.29451197385787964,
      "learning_rate": 0.0002533333333333334,
      "loss": 1.9613,
      "step": 152
    },
    {
      "epoch": 0.01494140625,
      "grad_norm": 0.2893507778644562,
      "learning_rate": 0.000255,
      "loss": 2.0048,
      "step": 153
    },
    {
      "epoch": 0.0150390625,
      "grad_norm": 0.24850639700889587,
      "learning_rate": 0.00025666666666666665,
      "loss": 2.0198,
      "step": 154
    },
    {
      "epoch": 0.01513671875,
      "grad_norm": 0.24297639727592468,
      "learning_rate": 0.00025833333333333334,
      "loss": 2.0561,
      "step": 155
    },
    {
      "epoch": 0.015234375,
      "grad_norm": 0.2777438461780548,
      "learning_rate": 0.00026000000000000003,
      "loss": 2.0206,
      "step": 156
    },
    {
      "epoch": 0.01533203125,
      "grad_norm": 0.28714093565940857,
      "learning_rate": 0.00026166666666666667,
      "loss": 1.9891,
      "step": 157
    },
    {
      "epoch": 0.0154296875,
      "grad_norm": 0.25796255469322205,
      "learning_rate": 0.0002633333333333333,
      "loss": 2.0369,
      "step": 158
    },
    {
      "epoch": 0.01552734375,
      "grad_norm": 0.2391008883714676,
      "learning_rate": 0.00026500000000000004,
      "loss": 2.0015,
      "step": 159
    },
    {
      "epoch": 0.015625,
      "grad_norm": 0.3203892409801483,
      "learning_rate": 0.0002666666666666667,
      "loss": 2.0213,
      "step": 160
    },
    {
      "epoch": 0.01572265625,
      "grad_norm": 0.3396870791912079,
      "learning_rate": 0.0002683333333333333,
      "loss": 2.0333,
      "step": 161
    },
    {
      "epoch": 0.0158203125,
      "grad_norm": 0.315060555934906,
      "learning_rate": 0.00027,
      "loss": 2.0195,
      "step": 162
    },
    {
      "epoch": 0.01591796875,
      "grad_norm": 0.2672436535358429,
      "learning_rate": 0.0002716666666666667,
      "loss": 1.9946,
      "step": 163
    },
    {
      "epoch": 0.016015625,
      "grad_norm": 0.2996402382850647,
      "learning_rate": 0.00027333333333333333,
      "loss": 2.0112,
      "step": 164
    },
    {
      "epoch": 0.01611328125,
      "grad_norm": 0.2894189953804016,
      "learning_rate": 0.000275,
      "loss": 2.0157,
      "step": 165
    },
    {
      "epoch": 0.0162109375,
      "grad_norm": 0.26241254806518555,
      "learning_rate": 0.00027666666666666665,
      "loss": 2.0177,
      "step": 166
    },
    {
      "epoch": 0.01630859375,
      "grad_norm": 0.22900305688381195,
      "learning_rate": 0.00027833333333333334,
      "loss": 1.9834,
      "step": 167
    },
    {
      "epoch": 0.01640625,
      "grad_norm": 0.2373427301645279,
      "learning_rate": 0.00028000000000000003,
      "loss": 1.9792,
      "step": 168
    },
    {
      "epoch": 0.01650390625,
      "grad_norm": 0.2663004696369171,
      "learning_rate": 0.00028166666666666666,
      "loss": 2.0203,
      "step": 169
    },
    {
      "epoch": 0.0166015625,
      "grad_norm": 0.31653544306755066,
      "learning_rate": 0.00028333333333333335,
      "loss": 2.0216,
      "step": 170
    },
    {
      "epoch": 0.01669921875,
      "grad_norm": 0.3077234923839569,
      "learning_rate": 0.000285,
      "loss": 2.0361,
      "step": 171
    },
    {
      "epoch": 0.016796875,
      "grad_norm": 0.25555703043937683,
      "learning_rate": 0.0002866666666666667,
      "loss": 2.0102,
      "step": 172
    },
    {
      "epoch": 0.01689453125,
      "grad_norm": 0.29817435145378113,
      "learning_rate": 0.0002883333333333333,
      "loss": 1.972,
      "step": 173
    },
    {
      "epoch": 0.0169921875,
      "grad_norm": 0.3075692355632782,
      "learning_rate": 0.00029,
      "loss": 2.0195,
      "step": 174
    },
    {
      "epoch": 0.01708984375,
      "grad_norm": 0.29917964339256287,
      "learning_rate": 0.0002916666666666667,
      "loss": 1.9972,
      "step": 175
    },
    {
      "epoch": 0.0171875,
      "grad_norm": 0.32018229365348816,
      "learning_rate": 0.0002933333333333333,
      "loss": 1.9895,
      "step": 176
    },
    {
      "epoch": 0.01728515625,
      "grad_norm": 0.2907097339630127,
      "learning_rate": 0.000295,
      "loss": 1.9777,
      "step": 177
    },
    {
      "epoch": 0.0173828125,
      "grad_norm": 0.22390642762184143,
      "learning_rate": 0.0002966666666666667,
      "loss": 1.9961,
      "step": 178
    },
    {
      "epoch": 0.01748046875,
      "grad_norm": 0.25350186228752136,
      "learning_rate": 0.00029833333333333334,
      "loss": 1.9875,
      "step": 179
    },
    {
      "epoch": 0.017578125,
      "grad_norm": 0.22856706380844116,
      "learning_rate": 0.0003,
      "loss": 2.0169,
      "step": 180
    },
    {
      "epoch": 0.01767578125,
      "grad_norm": 0.2288493812084198,
      "learning_rate": 0.0003016666666666667,
      "loss": 2.0238,
      "step": 181
    },
    {
      "epoch": 0.0177734375,
      "grad_norm": 0.27326855063438416,
      "learning_rate": 0.00030333333333333335,
      "loss": 2.0134,
      "step": 182
    },
    {
      "epoch": 0.01787109375,
      "grad_norm": 0.2447524517774582,
      "learning_rate": 0.000305,
      "loss": 1.9852,
      "step": 183
    },
    {
      "epoch": 0.01796875,
      "grad_norm": 0.4363366663455963,
      "learning_rate": 0.0003066666666666667,
      "loss": 1.9921,
      "step": 184
    },
    {
      "epoch": 0.01806640625,
      "grad_norm": 0.4569666385650635,
      "learning_rate": 0.00030833333333333337,
      "loss": 1.9997,
      "step": 185
    },
    {
      "epoch": 0.0181640625,
      "grad_norm": 0.43348655104637146,
      "learning_rate": 0.00031,
      "loss": 2.0584,
      "step": 186
    },
    {
      "epoch": 0.01826171875,
      "grad_norm": 0.3844921588897705,
      "learning_rate": 0.00031166666666666663,
      "loss": 2.0035,
      "step": 187
    },
    {
      "epoch": 0.018359375,
      "grad_norm": 0.3427641987800598,
      "learning_rate": 0.0003133333333333334,
      "loss": 1.9536,
      "step": 188
    },
    {
      "epoch": 0.01845703125,
      "grad_norm": 0.33557865023612976,
      "learning_rate": 0.000315,
      "loss": 1.972,
      "step": 189
    },
    {
      "epoch": 0.0185546875,
      "grad_norm": 0.4006612300872803,
      "learning_rate": 0.00031666666666666665,
      "loss": 2.0652,
      "step": 190
    },
    {
      "epoch": 0.01865234375,
      "grad_norm": 0.3158099055290222,
      "learning_rate": 0.00031833333333333334,
      "loss": 2.0516,
      "step": 191
    },
    {
      "epoch": 0.01875,
      "grad_norm": 0.3799190819263458,
      "learning_rate": 0.00032,
      "loss": 2.011,
      "step": 192
    },
    {
      "epoch": 0.01884765625,
      "grad_norm": 0.2948876619338989,
      "learning_rate": 0.00032166666666666666,
      "loss": 2.0109,
      "step": 193
    },
    {
      "epoch": 0.0189453125,
      "grad_norm": 0.24561335146427155,
      "learning_rate": 0.0003233333333333333,
      "loss": 2.0264,
      "step": 194
    },
    {
      "epoch": 0.01904296875,
      "grad_norm": 0.24896866083145142,
      "learning_rate": 0.00032500000000000004,
      "loss": 1.9726,
      "step": 195
    },
    {
      "epoch": 0.019140625,
      "grad_norm": 0.26887547969818115,
      "learning_rate": 0.0003266666666666667,
      "loss": 2.0036,
      "step": 196
    },
    {
      "epoch": 0.01923828125,
      "grad_norm": 0.3186735212802887,
      "learning_rate": 0.0003283333333333333,
      "loss": 2.0174,
      "step": 197
    },
    {
      "epoch": 0.0193359375,
      "grad_norm": 0.3317165672779083,
      "learning_rate": 0.00033,
      "loss": 2.0047,
      "step": 198
    },
    {
      "epoch": 0.01943359375,
      "grad_norm": 0.3068574070930481,
      "learning_rate": 0.0003316666666666667,
      "loss": 2.0032,
      "step": 199
    },
    {
      "epoch": 0.01953125,
      "grad_norm": 0.29292526841163635,
      "learning_rate": 0.0003333333333333333,
      "loss": 2.0533,
      "step": 200
    }
  ],
  "logging_steps": 1.0,
  "max_steps": 10240,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 9223372036854775807,
  "save_steps": 200,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 1.2245011890438144e+18,
  "train_batch_size": 16,
  "trial_name": null,
  "trial_params": null
}