jssky commited on
Commit
c9f8bb2
·
verified ·
1 Parent(s): efbb14d

Training in progress, step 1125, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:50a1e46e6bf908382e6f923d3bdcbfbeef1bf0e58dbfc7b21c28641758b5b2af
3
  size 1132620072
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:014caa130dec01f6f3f90df1cf4f52049793bafe5c843970cbe877f8b08b77db
3
  size 1132620072
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:29f69519e0dd26bd9252eb82f2d148cad0a6b82e54431990f0fcbff58b520909
3
  size 309389208
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e4742e5a2a8213c5cb2a5458e0cf9f101512dcd1d19186aa135efbca8f6d3fa6
3
  size 309389208
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:04fe22bd547a3c15ea76cabeedf4260373e4822d67e6012497afdadc9517c6a5
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:285d480fab72cb10d415b31159acfde290e2ff2984255b7506ce2bd623e741d6
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:ac9c79078a88e8cb4c64a0c9b0c0b44a2e00e7411388bd2b931c0d5e22790bf5
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:966cc7c77768098c8af029c048689ac1de1ed0de938435a2a7a5601075335dbd
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
- "epoch": 0.09840905363293423,
5
  "eval_steps": 375,
6
- "global_step": 750,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -5273,6 +5273,2639 @@
5273
  "eval_samples_per_second": 16.864,
5274
  "eval_steps_per_second": 8.432,
5275
  "step": 750
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5276
  }
5277
  ],
5278
  "logging_steps": 1,
@@ -5292,7 +7925,7 @@
5292
  "attributes": {}
5293
  }
5294
  },
5295
- "total_flos": 1.0728962251680645e+18,
5296
  "train_batch_size": 2,
5297
  "trial_name": null,
5298
  "trial_params": null
 
1
  {
2
  "best_metric": null,
3
  "best_model_checkpoint": null,
4
+ "epoch": 0.14761358044940134,
5
  "eval_steps": 375,
6
+ "global_step": 1125,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
5273
  "eval_samples_per_second": 16.864,
5274
  "eval_steps_per_second": 8.432,
5275
  "step": 750
5276
+ },
5277
+ {
5278
+ "epoch": 0.09854026570444481,
5279
+ "grad_norm": 97.69029998779297,
5280
+ "learning_rate": 0.00010084337058003303,
5281
+ "loss": 1.1091,
5282
+ "step": 751
5283
+ },
5284
+ {
5285
+ "epoch": 0.09867147777595539,
5286
+ "grad_norm": 93.81666564941406,
5287
+ "learning_rate": 0.00010063253121564868,
5288
+ "loss": 1.4851,
5289
+ "step": 752
5290
+ },
5291
+ {
5292
+ "epoch": 0.09880268984746597,
5293
+ "grad_norm": 61.353031158447266,
5294
+ "learning_rate": 0.00010042168903930514,
5295
+ "loss": 0.7647,
5296
+ "step": 753
5297
+ },
5298
+ {
5299
+ "epoch": 0.09893390191897655,
5300
+ "grad_norm": 91.40865325927734,
5301
+ "learning_rate": 0.00010021084498831522,
5302
+ "loss": 1.3089,
5303
+ "step": 754
5304
+ },
5305
+ {
5306
+ "epoch": 0.09906511399048712,
5307
+ "grad_norm": 101.84923553466797,
5308
+ "learning_rate": 0.0001,
5309
+ "loss": 1.4239,
5310
+ "step": 755
5311
+ },
5312
+ {
5313
+ "epoch": 0.0991963260619977,
5314
+ "grad_norm": 97.03103637695312,
5315
+ "learning_rate": 9.97891550116848e-05,
5316
+ "loss": 1.3613,
5317
+ "step": 756
5318
+ },
5319
+ {
5320
+ "epoch": 0.09932753813350828,
5321
+ "grad_norm": 89.84929656982422,
5322
+ "learning_rate": 9.957831096069488e-05,
5323
+ "loss": 1.3314,
5324
+ "step": 757
5325
+ },
5326
+ {
5327
+ "epoch": 0.09945875020501886,
5328
+ "grad_norm": 74.20384979248047,
5329
+ "learning_rate": 9.936746878435136e-05,
5330
+ "loss": 1.1078,
5331
+ "step": 758
5332
+ },
5333
+ {
5334
+ "epoch": 0.09958996227652944,
5335
+ "grad_norm": 85.77796936035156,
5336
+ "learning_rate": 9.915662941996699e-05,
5337
+ "loss": 1.3821,
5338
+ "step": 759
5339
+ },
5340
+ {
5341
+ "epoch": 0.09972117434804002,
5342
+ "grad_norm": 80.18834686279297,
5343
+ "learning_rate": 9.894579380484204e-05,
5344
+ "loss": 1.4241,
5345
+ "step": 760
5346
+ },
5347
+ {
5348
+ "epoch": 0.0998523864195506,
5349
+ "grad_norm": 105.5184097290039,
5350
+ "learning_rate": 9.873496287626019e-05,
5351
+ "loss": 1.4285,
5352
+ "step": 761
5353
+ },
5354
+ {
5355
+ "epoch": 0.09998359849106117,
5356
+ "grad_norm": 80.73155975341797,
5357
+ "learning_rate": 9.852413757148417e-05,
5358
+ "loss": 1.3009,
5359
+ "step": 762
5360
+ },
5361
+ {
5362
+ "epoch": 0.10011481056257175,
5363
+ "grad_norm": 77.9684829711914,
5364
+ "learning_rate": 9.831331882775178e-05,
5365
+ "loss": 1.2135,
5366
+ "step": 763
5367
+ },
5368
+ {
5369
+ "epoch": 0.10024602263408233,
5370
+ "grad_norm": 90.05245971679688,
5371
+ "learning_rate": 9.81025075822716e-05,
5372
+ "loss": 1.3076,
5373
+ "step": 764
5374
+ },
5375
+ {
5376
+ "epoch": 0.10037723470559291,
5377
+ "grad_norm": 90.34455108642578,
5378
+ "learning_rate": 9.789170477221891e-05,
5379
+ "loss": 1.4653,
5380
+ "step": 765
5381
+ },
5382
+ {
5383
+ "epoch": 0.1005084467771035,
5384
+ "grad_norm": 78.91496276855469,
5385
+ "learning_rate": 9.76809113347315e-05,
5386
+ "loss": 1.2576,
5387
+ "step": 766
5388
+ },
5389
+ {
5390
+ "epoch": 0.10063965884861407,
5391
+ "grad_norm": 89.83158111572266,
5392
+ "learning_rate": 9.747012820690543e-05,
5393
+ "loss": 1.2744,
5394
+ "step": 767
5395
+ },
5396
+ {
5397
+ "epoch": 0.10077087092012466,
5398
+ "grad_norm": 101.65666961669922,
5399
+ "learning_rate": 9.725935632579104e-05,
5400
+ "loss": 1.2676,
5401
+ "step": 768
5402
+ },
5403
+ {
5404
+ "epoch": 0.10090208299163524,
5405
+ "grad_norm": 84.8772964477539,
5406
+ "learning_rate": 9.704859662838855e-05,
5407
+ "loss": 1.0624,
5408
+ "step": 769
5409
+ },
5410
+ {
5411
+ "epoch": 0.1010332950631458,
5412
+ "grad_norm": 86.49850463867188,
5413
+ "learning_rate": 9.683785005164411e-05,
5414
+ "loss": 1.4636,
5415
+ "step": 770
5416
+ },
5417
+ {
5418
+ "epoch": 0.10116450713465638,
5419
+ "grad_norm": 96.36685943603516,
5420
+ "learning_rate": 9.662711753244551e-05,
5421
+ "loss": 1.2227,
5422
+ "step": 771
5423
+ },
5424
+ {
5425
+ "epoch": 0.10129571920616696,
5426
+ "grad_norm": 90.46879577636719,
5427
+ "learning_rate": 9.641640000761802e-05,
5428
+ "loss": 1.2893,
5429
+ "step": 772
5430
+ },
5431
+ {
5432
+ "epoch": 0.10142693127767755,
5433
+ "grad_norm": 87.37088012695312,
5434
+ "learning_rate": 9.620569841392029e-05,
5435
+ "loss": 1.301,
5436
+ "step": 773
5437
+ },
5438
+ {
5439
+ "epoch": 0.10155814334918813,
5440
+ "grad_norm": 82.70668029785156,
5441
+ "learning_rate": 9.59950136880401e-05,
5442
+ "loss": 1.2097,
5443
+ "step": 774
5444
+ },
5445
+ {
5446
+ "epoch": 0.10168935542069871,
5447
+ "grad_norm": 80.88251495361328,
5448
+ "learning_rate": 9.57843467665903e-05,
5449
+ "loss": 1.2546,
5450
+ "step": 775
5451
+ },
5452
+ {
5453
+ "epoch": 0.10182056749220929,
5454
+ "grad_norm": 87.06242370605469,
5455
+ "learning_rate": 9.557369858610453e-05,
5456
+ "loss": 1.2342,
5457
+ "step": 776
5458
+ },
5459
+ {
5460
+ "epoch": 0.10195177956371987,
5461
+ "grad_norm": 95.01030731201172,
5462
+ "learning_rate": 9.53630700830332e-05,
5463
+ "loss": 1.3376,
5464
+ "step": 777
5465
+ },
5466
+ {
5467
+ "epoch": 0.10208299163523044,
5468
+ "grad_norm": 87.33165740966797,
5469
+ "learning_rate": 9.51524621937391e-05,
5470
+ "loss": 1.331,
5471
+ "step": 778
5472
+ },
5473
+ {
5474
+ "epoch": 0.10221420370674102,
5475
+ "grad_norm": 61.26624298095703,
5476
+ "learning_rate": 9.494187585449358e-05,
5477
+ "loss": 0.659,
5478
+ "step": 779
5479
+ },
5480
+ {
5481
+ "epoch": 0.1023454157782516,
5482
+ "grad_norm": 92.8788833618164,
5483
+ "learning_rate": 9.473131200147205e-05,
5484
+ "loss": 1.395,
5485
+ "step": 780
5486
+ },
5487
+ {
5488
+ "epoch": 0.10247662784976218,
5489
+ "grad_norm": 73.27294158935547,
5490
+ "learning_rate": 9.452077157074994e-05,
5491
+ "loss": 1.0632,
5492
+ "step": 781
5493
+ },
5494
+ {
5495
+ "epoch": 0.10260783992127276,
5496
+ "grad_norm": 91.13346862792969,
5497
+ "learning_rate": 9.431025549829862e-05,
5498
+ "loss": 1.3306,
5499
+ "step": 782
5500
+ },
5501
+ {
5502
+ "epoch": 0.10273905199278334,
5503
+ "grad_norm": 95.94681549072266,
5504
+ "learning_rate": 9.409976471998118e-05,
5505
+ "loss": 1.1825,
5506
+ "step": 783
5507
+ },
5508
+ {
5509
+ "epoch": 0.10287026406429392,
5510
+ "grad_norm": 97.73973083496094,
5511
+ "learning_rate": 9.388930017154819e-05,
5512
+ "loss": 1.3928,
5513
+ "step": 784
5514
+ },
5515
+ {
5516
+ "epoch": 0.10300147613580449,
5517
+ "grad_norm": 96.57628631591797,
5518
+ "learning_rate": 9.367886278863366e-05,
5519
+ "loss": 1.3381,
5520
+ "step": 785
5521
+ },
5522
+ {
5523
+ "epoch": 0.10313268820731507,
5524
+ "grad_norm": 76.6468276977539,
5525
+ "learning_rate": 9.346845350675088e-05,
5526
+ "loss": 0.8431,
5527
+ "step": 786
5528
+ },
5529
+ {
5530
+ "epoch": 0.10326390027882565,
5531
+ "grad_norm": 91.9226303100586,
5532
+ "learning_rate": 9.325807326128814e-05,
5533
+ "loss": 1.3495,
5534
+ "step": 787
5535
+ },
5536
+ {
5537
+ "epoch": 0.10339511235033623,
5538
+ "grad_norm": 83.96055603027344,
5539
+ "learning_rate": 9.304772298750463e-05,
5540
+ "loss": 1.1399,
5541
+ "step": 788
5542
+ },
5543
+ {
5544
+ "epoch": 0.10352632442184681,
5545
+ "grad_norm": 110.01771545410156,
5546
+ "learning_rate": 9.283740362052642e-05,
5547
+ "loss": 1.2838,
5548
+ "step": 789
5549
+ },
5550
+ {
5551
+ "epoch": 0.10365753649335739,
5552
+ "grad_norm": 85.91791534423828,
5553
+ "learning_rate": 9.26271160953421e-05,
5554
+ "loss": 1.1938,
5555
+ "step": 790
5556
+ },
5557
+ {
5558
+ "epoch": 0.10378874856486797,
5559
+ "grad_norm": 84.15980529785156,
5560
+ "learning_rate": 9.241686134679867e-05,
5561
+ "loss": 1.3805,
5562
+ "step": 791
5563
+ },
5564
+ {
5565
+ "epoch": 0.10391996063637855,
5566
+ "grad_norm": 101.84619903564453,
5567
+ "learning_rate": 9.220664030959749e-05,
5568
+ "loss": 1.4642,
5569
+ "step": 792
5570
+ },
5571
+ {
5572
+ "epoch": 0.10405117270788912,
5573
+ "grad_norm": 82.17317199707031,
5574
+ "learning_rate": 9.199645391828999e-05,
5575
+ "loss": 1.1267,
5576
+ "step": 793
5577
+ },
5578
+ {
5579
+ "epoch": 0.1041823847793997,
5580
+ "grad_norm": 86.27032470703125,
5581
+ "learning_rate": 9.178630310727365e-05,
5582
+ "loss": 1.3437,
5583
+ "step": 794
5584
+ },
5585
+ {
5586
+ "epoch": 0.10431359685091028,
5587
+ "grad_norm": 79.38684844970703,
5588
+ "learning_rate": 9.157618881078772e-05,
5589
+ "loss": 1.1762,
5590
+ "step": 795
5591
+ },
5592
+ {
5593
+ "epoch": 0.10444480892242086,
5594
+ "grad_norm": 89.62006378173828,
5595
+ "learning_rate": 9.136611196290915e-05,
5596
+ "loss": 1.4621,
5597
+ "step": 796
5598
+ },
5599
+ {
5600
+ "epoch": 0.10457602099393144,
5601
+ "grad_norm": 95.24529266357422,
5602
+ "learning_rate": 9.115607349754834e-05,
5603
+ "loss": 1.199,
5604
+ "step": 797
5605
+ },
5606
+ {
5607
+ "epoch": 0.10470723306544202,
5608
+ "grad_norm": 84.98068237304688,
5609
+ "learning_rate": 9.094607434844523e-05,
5610
+ "loss": 1.1134,
5611
+ "step": 798
5612
+ },
5613
+ {
5614
+ "epoch": 0.1048384451369526,
5615
+ "grad_norm": 103.12364959716797,
5616
+ "learning_rate": 9.07361154491648e-05,
5617
+ "loss": 1.352,
5618
+ "step": 799
5619
+ },
5620
+ {
5621
+ "epoch": 0.10496965720846319,
5622
+ "grad_norm": 86.50543975830078,
5623
+ "learning_rate": 9.052619773309317e-05,
5624
+ "loss": 0.9736,
5625
+ "step": 800
5626
+ },
5627
+ {
5628
+ "epoch": 0.10510086927997375,
5629
+ "grad_norm": 91.45311737060547,
5630
+ "learning_rate": 9.031632213343339e-05,
5631
+ "loss": 1.3331,
5632
+ "step": 801
5633
+ },
5634
+ {
5635
+ "epoch": 0.10523208135148433,
5636
+ "grad_norm": 85.41616821289062,
5637
+ "learning_rate": 9.01064895832012e-05,
5638
+ "loss": 1.3502,
5639
+ "step": 802
5640
+ },
5641
+ {
5642
+ "epoch": 0.10536329342299491,
5643
+ "grad_norm": 74.28988647460938,
5644
+ "learning_rate": 8.98967010152211e-05,
5645
+ "loss": 0.9898,
5646
+ "step": 803
5647
+ },
5648
+ {
5649
+ "epoch": 0.1054945054945055,
5650
+ "grad_norm": 89.07300567626953,
5651
+ "learning_rate": 8.968695736212193e-05,
5652
+ "loss": 1.4575,
5653
+ "step": 804
5654
+ },
5655
+ {
5656
+ "epoch": 0.10562571756601608,
5657
+ "grad_norm": 93.72269439697266,
5658
+ "learning_rate": 8.947725955633294e-05,
5659
+ "loss": 1.6465,
5660
+ "step": 805
5661
+ },
5662
+ {
5663
+ "epoch": 0.10575692963752666,
5664
+ "grad_norm": 88.29570770263672,
5665
+ "learning_rate": 8.926760853007946e-05,
5666
+ "loss": 1.424,
5667
+ "step": 806
5668
+ },
5669
+ {
5670
+ "epoch": 0.10588814170903724,
5671
+ "grad_norm": 73.67832946777344,
5672
+ "learning_rate": 8.905800521537905e-05,
5673
+ "loss": 1.1864,
5674
+ "step": 807
5675
+ },
5676
+ {
5677
+ "epoch": 0.1060193537805478,
5678
+ "grad_norm": 80.58191680908203,
5679
+ "learning_rate": 8.884845054403699e-05,
5680
+ "loss": 1.2277,
5681
+ "step": 808
5682
+ },
5683
+ {
5684
+ "epoch": 0.10615056585205838,
5685
+ "grad_norm": 75.96244812011719,
5686
+ "learning_rate": 8.863894544764236e-05,
5687
+ "loss": 1.3263,
5688
+ "step": 809
5689
+ },
5690
+ {
5691
+ "epoch": 0.10628177792356897,
5692
+ "grad_norm": 79.91869354248047,
5693
+ "learning_rate": 8.84294908575639e-05,
5694
+ "loss": 1.236,
5695
+ "step": 810
5696
+ },
5697
+ {
5698
+ "epoch": 0.10641298999507955,
5699
+ "grad_norm": 83.43290710449219,
5700
+ "learning_rate": 8.822008770494572e-05,
5701
+ "loss": 1.3687,
5702
+ "step": 811
5703
+ },
5704
+ {
5705
+ "epoch": 0.10654420206659013,
5706
+ "grad_norm": 78.77812957763672,
5707
+ "learning_rate": 8.801073692070337e-05,
5708
+ "loss": 1.2445,
5709
+ "step": 812
5710
+ },
5711
+ {
5712
+ "epoch": 0.10667541413810071,
5713
+ "grad_norm": 80.77157592773438,
5714
+ "learning_rate": 8.780143943551954e-05,
5715
+ "loss": 1.2807,
5716
+ "step": 813
5717
+ },
5718
+ {
5719
+ "epoch": 0.10680662620961129,
5720
+ "grad_norm": 82.76246643066406,
5721
+ "learning_rate": 8.759219617983999e-05,
5722
+ "loss": 1.4222,
5723
+ "step": 814
5724
+ },
5725
+ {
5726
+ "epoch": 0.10693783828112187,
5727
+ "grad_norm": 82.53105163574219,
5728
+ "learning_rate": 8.738300808386935e-05,
5729
+ "loss": 1.1988,
5730
+ "step": 815
5731
+ },
5732
+ {
5733
+ "epoch": 0.10706905035263244,
5734
+ "grad_norm": 85.68115997314453,
5735
+ "learning_rate": 8.717387607756713e-05,
5736
+ "loss": 1.1988,
5737
+ "step": 816
5738
+ },
5739
+ {
5740
+ "epoch": 0.10720026242414302,
5741
+ "grad_norm": 94.20657348632812,
5742
+ "learning_rate": 8.696480109064342e-05,
5743
+ "loss": 1.4334,
5744
+ "step": 817
5745
+ },
5746
+ {
5747
+ "epoch": 0.1073314744956536,
5748
+ "grad_norm": 89.79777526855469,
5749
+ "learning_rate": 8.675578405255485e-05,
5750
+ "loss": 1.4274,
5751
+ "step": 818
5752
+ },
5753
+ {
5754
+ "epoch": 0.10746268656716418,
5755
+ "grad_norm": 74.69121551513672,
5756
+ "learning_rate": 8.654682589250038e-05,
5757
+ "loss": 0.9087,
5758
+ "step": 819
5759
+ },
5760
+ {
5761
+ "epoch": 0.10759389863867476,
5762
+ "grad_norm": 85.3201675415039,
5763
+ "learning_rate": 8.633792753941733e-05,
5764
+ "loss": 1.3313,
5765
+ "step": 820
5766
+ },
5767
+ {
5768
+ "epoch": 0.10772511071018534,
5769
+ "grad_norm": 71.2101058959961,
5770
+ "learning_rate": 8.612908992197705e-05,
5771
+ "loss": 1.132,
5772
+ "step": 821
5773
+ },
5774
+ {
5775
+ "epoch": 0.10785632278169592,
5776
+ "grad_norm": 74.04344940185547,
5777
+ "learning_rate": 8.592031396858093e-05,
5778
+ "loss": 1.2489,
5779
+ "step": 822
5780
+ },
5781
+ {
5782
+ "epoch": 0.1079875348532065,
5783
+ "grad_norm": 85.58378601074219,
5784
+ "learning_rate": 8.571160060735624e-05,
5785
+ "loss": 1.4977,
5786
+ "step": 823
5787
+ },
5788
+ {
5789
+ "epoch": 0.10811874692471707,
5790
+ "grad_norm": 84.59700775146484,
5791
+ "learning_rate": 8.550295076615188e-05,
5792
+ "loss": 1.3275,
5793
+ "step": 824
5794
+ },
5795
+ {
5796
+ "epoch": 0.10824995899622765,
5797
+ "grad_norm": 86.85831451416016,
5798
+ "learning_rate": 8.529436537253458e-05,
5799
+ "loss": 1.4293,
5800
+ "step": 825
5801
+ },
5802
+ {
5803
+ "epoch": 0.10838117106773823,
5804
+ "grad_norm": 95.97257995605469,
5805
+ "learning_rate": 8.508584535378439e-05,
5806
+ "loss": 1.2916,
5807
+ "step": 826
5808
+ },
5809
+ {
5810
+ "epoch": 0.10851238313924881,
5811
+ "grad_norm": 89.05290985107422,
5812
+ "learning_rate": 8.487739163689079e-05,
5813
+ "loss": 1.2153,
5814
+ "step": 827
5815
+ },
5816
+ {
5817
+ "epoch": 0.10864359521075939,
5818
+ "grad_norm": 81.8623046875,
5819
+ "learning_rate": 8.466900514854847e-05,
5820
+ "loss": 1.0889,
5821
+ "step": 828
5822
+ },
5823
+ {
5824
+ "epoch": 0.10877480728226997,
5825
+ "grad_norm": 90.15696716308594,
5826
+ "learning_rate": 8.446068681515334e-05,
5827
+ "loss": 1.223,
5828
+ "step": 829
5829
+ },
5830
+ {
5831
+ "epoch": 0.10890601935378055,
5832
+ "grad_norm": 79.51602172851562,
5833
+ "learning_rate": 8.425243756279824e-05,
5834
+ "loss": 0.9173,
5835
+ "step": 830
5836
+ },
5837
+ {
5838
+ "epoch": 0.10903723142529112,
5839
+ "grad_norm": 86.3885726928711,
5840
+ "learning_rate": 8.404425831726894e-05,
5841
+ "loss": 1.3716,
5842
+ "step": 831
5843
+ },
5844
+ {
5845
+ "epoch": 0.1091684434968017,
5846
+ "grad_norm": 99.4853286743164,
5847
+ "learning_rate": 8.383615000404e-05,
5848
+ "loss": 1.4296,
5849
+ "step": 832
5850
+ },
5851
+ {
5852
+ "epoch": 0.10929965556831228,
5853
+ "grad_norm": 84.57745361328125,
5854
+ "learning_rate": 8.362811354827059e-05,
5855
+ "loss": 1.2572,
5856
+ "step": 833
5857
+ },
5858
+ {
5859
+ "epoch": 0.10943086763982286,
5860
+ "grad_norm": 81.55428314208984,
5861
+ "learning_rate": 8.342014987480047e-05,
5862
+ "loss": 1.1257,
5863
+ "step": 834
5864
+ },
5865
+ {
5866
+ "epoch": 0.10956207971133344,
5867
+ "grad_norm": 86.83169555664062,
5868
+ "learning_rate": 8.321225990814591e-05,
5869
+ "loss": 1.3076,
5870
+ "step": 835
5871
+ },
5872
+ {
5873
+ "epoch": 0.10969329178284402,
5874
+ "grad_norm": 85.37054443359375,
5875
+ "learning_rate": 8.300444457249543e-05,
5876
+ "loss": 0.985,
5877
+ "step": 836
5878
+ },
5879
+ {
5880
+ "epoch": 0.1098245038543546,
5881
+ "grad_norm": 84.12065887451172,
5882
+ "learning_rate": 8.279670479170573e-05,
5883
+ "loss": 1.2913,
5884
+ "step": 837
5885
+ },
5886
+ {
5887
+ "epoch": 0.10995571592586519,
5888
+ "grad_norm": 94.91079711914062,
5889
+ "learning_rate": 8.258904148929775e-05,
5890
+ "loss": 1.2579,
5891
+ "step": 838
5892
+ },
5893
+ {
5894
+ "epoch": 0.11008692799737575,
5895
+ "grad_norm": 74.27262878417969,
5896
+ "learning_rate": 8.238145558845235e-05,
5897
+ "loss": 1.1638,
5898
+ "step": 839
5899
+ },
5900
+ {
5901
+ "epoch": 0.11021814006888633,
5902
+ "grad_norm": 75.5075454711914,
5903
+ "learning_rate": 8.217394801200631e-05,
5904
+ "loss": 1.2136,
5905
+ "step": 840
5906
+ },
5907
+ {
5908
+ "epoch": 0.11034935214039691,
5909
+ "grad_norm": 91.46548461914062,
5910
+ "learning_rate": 8.196651968244826e-05,
5911
+ "loss": 1.3125,
5912
+ "step": 841
5913
+ },
5914
+ {
5915
+ "epoch": 0.1104805642119075,
5916
+ "grad_norm": 110.3213119506836,
5917
+ "learning_rate": 8.175917152191447e-05,
5918
+ "loss": 1.1892,
5919
+ "step": 842
5920
+ },
5921
+ {
5922
+ "epoch": 0.11061177628341808,
5923
+ "grad_norm": 90.02698516845703,
5924
+ "learning_rate": 8.15519044521848e-05,
5925
+ "loss": 1.2794,
5926
+ "step": 843
5927
+ },
5928
+ {
5929
+ "epoch": 0.11074298835492866,
5930
+ "grad_norm": 78.54035186767578,
5931
+ "learning_rate": 8.134471939467874e-05,
5932
+ "loss": 1.2092,
5933
+ "step": 844
5934
+ },
5935
+ {
5936
+ "epoch": 0.11087420042643924,
5937
+ "grad_norm": 87.6242904663086,
5938
+ "learning_rate": 8.113761727045105e-05,
5939
+ "loss": 1.3359,
5940
+ "step": 845
5941
+ },
5942
+ {
5943
+ "epoch": 0.11100541249794982,
5944
+ "grad_norm": 97.61687469482422,
5945
+ "learning_rate": 8.093059900018792e-05,
5946
+ "loss": 1.5146,
5947
+ "step": 846
5948
+ },
5949
+ {
5950
+ "epoch": 0.11113662456946038,
5951
+ "grad_norm": 77.97388458251953,
5952
+ "learning_rate": 8.072366550420266e-05,
5953
+ "loss": 1.184,
5954
+ "step": 847
5955
+ },
5956
+ {
5957
+ "epoch": 0.11126783664097097,
5958
+ "grad_norm": 106.9185791015625,
5959
+ "learning_rate": 8.051681770243175e-05,
5960
+ "loss": 1.2764,
5961
+ "step": 848
5962
+ },
5963
+ {
5964
+ "epoch": 0.11139904871248155,
5965
+ "grad_norm": 104.53775024414062,
5966
+ "learning_rate": 8.031005651443073e-05,
5967
+ "loss": 1.3336,
5968
+ "step": 849
5969
+ },
5970
+ {
5971
+ "epoch": 0.11153026078399213,
5972
+ "grad_norm": 70.69134521484375,
5973
+ "learning_rate": 8.010338285937006e-05,
5974
+ "loss": 0.8172,
5975
+ "step": 850
5976
+ },
5977
+ {
5978
+ "epoch": 0.11166147285550271,
5979
+ "grad_norm": 72.92957305908203,
5980
+ "learning_rate": 7.989679765603108e-05,
5981
+ "loss": 1.1501,
5982
+ "step": 851
5983
+ },
5984
+ {
5985
+ "epoch": 0.11179268492701329,
5986
+ "grad_norm": 93.121337890625,
5987
+ "learning_rate": 7.969030182280192e-05,
5988
+ "loss": 1.3874,
5989
+ "step": 852
5990
+ },
5991
+ {
5992
+ "epoch": 0.11192389699852387,
5993
+ "grad_norm": 90.40266418457031,
5994
+ "learning_rate": 7.948389627767343e-05,
5995
+ "loss": 1.2266,
5996
+ "step": 853
5997
+ },
5998
+ {
5999
+ "epoch": 0.11205510907003444,
6000
+ "grad_norm": 80.4605484008789,
6001
+ "learning_rate": 7.927758193823501e-05,
6002
+ "loss": 1.2867,
6003
+ "step": 854
6004
+ },
6005
+ {
6006
+ "epoch": 0.11218632114154502,
6007
+ "grad_norm": 76.1406478881836,
6008
+ "learning_rate": 7.907135972167069e-05,
6009
+ "loss": 1.1436,
6010
+ "step": 855
6011
+ },
6012
+ {
6013
+ "epoch": 0.1123175332130556,
6014
+ "grad_norm": 117.57950592041016,
6015
+ "learning_rate": 7.88652305447549e-05,
6016
+ "loss": 1.4234,
6017
+ "step": 856
6018
+ },
6019
+ {
6020
+ "epoch": 0.11244874528456618,
6021
+ "grad_norm": 83.21184539794922,
6022
+ "learning_rate": 7.865919532384844e-05,
6023
+ "loss": 1.406,
6024
+ "step": 857
6025
+ },
6026
+ {
6027
+ "epoch": 0.11257995735607676,
6028
+ "grad_norm": 81.59228515625,
6029
+ "learning_rate": 7.845325497489449e-05,
6030
+ "loss": 1.1652,
6031
+ "step": 858
6032
+ },
6033
+ {
6034
+ "epoch": 0.11271116942758734,
6035
+ "grad_norm": 78.01521301269531,
6036
+ "learning_rate": 7.82474104134144e-05,
6037
+ "loss": 1.1525,
6038
+ "step": 859
6039
+ },
6040
+ {
6041
+ "epoch": 0.11284238149909792,
6042
+ "grad_norm": 79.91583251953125,
6043
+ "learning_rate": 7.804166255450373e-05,
6044
+ "loss": 1.1489,
6045
+ "step": 860
6046
+ },
6047
+ {
6048
+ "epoch": 0.1129735935706085,
6049
+ "grad_norm": 93.8932876586914,
6050
+ "learning_rate": 7.783601231282812e-05,
6051
+ "loss": 1.5593,
6052
+ "step": 861
6053
+ },
6054
+ {
6055
+ "epoch": 0.11310480564211907,
6056
+ "grad_norm": 81.15459442138672,
6057
+ "learning_rate": 7.763046060261932e-05,
6058
+ "loss": 1.1166,
6059
+ "step": 862
6060
+ },
6061
+ {
6062
+ "epoch": 0.11323601771362965,
6063
+ "grad_norm": 81.07710266113281,
6064
+ "learning_rate": 7.742500833767094e-05,
6065
+ "loss": 1.259,
6066
+ "step": 863
6067
+ },
6068
+ {
6069
+ "epoch": 0.11336722978514023,
6070
+ "grad_norm": 86.97444152832031,
6071
+ "learning_rate": 7.721965643133458e-05,
6072
+ "loss": 1.375,
6073
+ "step": 864
6074
+ },
6075
+ {
6076
+ "epoch": 0.11349844185665081,
6077
+ "grad_norm": 86.7616195678711,
6078
+ "learning_rate": 7.701440579651566e-05,
6079
+ "loss": 1.2574,
6080
+ "step": 865
6081
+ },
6082
+ {
6083
+ "epoch": 0.11362965392816139,
6084
+ "grad_norm": 72.26502227783203,
6085
+ "learning_rate": 7.680925734566937e-05,
6086
+ "loss": 0.9285,
6087
+ "step": 866
6088
+ },
6089
+ {
6090
+ "epoch": 0.11376086599967197,
6091
+ "grad_norm": 85.68944549560547,
6092
+ "learning_rate": 7.660421199079669e-05,
6093
+ "loss": 1.3314,
6094
+ "step": 867
6095
+ },
6096
+ {
6097
+ "epoch": 0.11389207807118255,
6098
+ "grad_norm": 105.01937103271484,
6099
+ "learning_rate": 7.639927064344022e-05,
6100
+ "loss": 1.4191,
6101
+ "step": 868
6102
+ },
6103
+ {
6104
+ "epoch": 0.11402329014269313,
6105
+ "grad_norm": 76.75748443603516,
6106
+ "learning_rate": 7.619443421468021e-05,
6107
+ "loss": 1.2067,
6108
+ "step": 869
6109
+ },
6110
+ {
6111
+ "epoch": 0.1141545022142037,
6112
+ "grad_norm": 71.16960144042969,
6113
+ "learning_rate": 7.598970361513051e-05,
6114
+ "loss": 1.1203,
6115
+ "step": 870
6116
+ },
6117
+ {
6118
+ "epoch": 0.11428571428571428,
6119
+ "grad_norm": 91.62995147705078,
6120
+ "learning_rate": 7.578507975493448e-05,
6121
+ "loss": 1.4054,
6122
+ "step": 871
6123
+ },
6124
+ {
6125
+ "epoch": 0.11441692635722486,
6126
+ "grad_norm": 93.81131744384766,
6127
+ "learning_rate": 7.558056354376098e-05,
6128
+ "loss": 1.4383,
6129
+ "step": 872
6130
+ },
6131
+ {
6132
+ "epoch": 0.11454813842873544,
6133
+ "grad_norm": 90.25621032714844,
6134
+ "learning_rate": 7.537615589080027e-05,
6135
+ "loss": 1.3775,
6136
+ "step": 873
6137
+ },
6138
+ {
6139
+ "epoch": 0.11467935050024602,
6140
+ "grad_norm": 91.32057189941406,
6141
+ "learning_rate": 7.517185770476006e-05,
6142
+ "loss": 1.3503,
6143
+ "step": 874
6144
+ },
6145
+ {
6146
+ "epoch": 0.1148105625717566,
6147
+ "grad_norm": 84.20240020751953,
6148
+ "learning_rate": 7.496766989386136e-05,
6149
+ "loss": 1.2805,
6150
+ "step": 875
6151
+ },
6152
+ {
6153
+ "epoch": 0.11494177464326719,
6154
+ "grad_norm": 89.70222473144531,
6155
+ "learning_rate": 7.476359336583454e-05,
6156
+ "loss": 1.0532,
6157
+ "step": 876
6158
+ },
6159
+ {
6160
+ "epoch": 0.11507298671477775,
6161
+ "grad_norm": 84.67049407958984,
6162
+ "learning_rate": 7.455962902791522e-05,
6163
+ "loss": 1.2905,
6164
+ "step": 877
6165
+ },
6166
+ {
6167
+ "epoch": 0.11520419878628833,
6168
+ "grad_norm": 87.71664428710938,
6169
+ "learning_rate": 7.435577778684033e-05,
6170
+ "loss": 1.2024,
6171
+ "step": 878
6172
+ },
6173
+ {
6174
+ "epoch": 0.11533541085779891,
6175
+ "grad_norm": 79.67853546142578,
6176
+ "learning_rate": 7.415204054884399e-05,
6177
+ "loss": 1.1998,
6178
+ "step": 879
6179
+ },
6180
+ {
6181
+ "epoch": 0.1154666229293095,
6182
+ "grad_norm": 73.01593780517578,
6183
+ "learning_rate": 7.394841821965345e-05,
6184
+ "loss": 0.8399,
6185
+ "step": 880
6186
+ },
6187
+ {
6188
+ "epoch": 0.11559783500082008,
6189
+ "grad_norm": 89.91947174072266,
6190
+ "learning_rate": 7.374491170448525e-05,
6191
+ "loss": 1.1487,
6192
+ "step": 881
6193
+ },
6194
+ {
6195
+ "epoch": 0.11572904707233066,
6196
+ "grad_norm": 84.5108642578125,
6197
+ "learning_rate": 7.3541521908041e-05,
6198
+ "loss": 1.2394,
6199
+ "step": 882
6200
+ },
6201
+ {
6202
+ "epoch": 0.11586025914384124,
6203
+ "grad_norm": 76.39949035644531,
6204
+ "learning_rate": 7.33382497345034e-05,
6205
+ "loss": 1.1252,
6206
+ "step": 883
6207
+ },
6208
+ {
6209
+ "epoch": 0.11599147121535182,
6210
+ "grad_norm": 97.69725799560547,
6211
+ "learning_rate": 7.313509608753231e-05,
6212
+ "loss": 1.3952,
6213
+ "step": 884
6214
+ },
6215
+ {
6216
+ "epoch": 0.11612268328686239,
6217
+ "grad_norm": 81.33671569824219,
6218
+ "learning_rate": 7.293206187026061e-05,
6219
+ "loss": 1.2021,
6220
+ "step": 885
6221
+ },
6222
+ {
6223
+ "epoch": 0.11625389535837297,
6224
+ "grad_norm": 69.44561767578125,
6225
+ "learning_rate": 7.27291479852903e-05,
6226
+ "loss": 1.0298,
6227
+ "step": 886
6228
+ },
6229
+ {
6230
+ "epoch": 0.11638510742988355,
6231
+ "grad_norm": 69.80852508544922,
6232
+ "learning_rate": 7.252635533468843e-05,
6233
+ "loss": 1.1035,
6234
+ "step": 887
6235
+ },
6236
+ {
6237
+ "epoch": 0.11651631950139413,
6238
+ "grad_norm": 88.15672302246094,
6239
+ "learning_rate": 7.232368481998309e-05,
6240
+ "loss": 1.1554,
6241
+ "step": 888
6242
+ },
6243
+ {
6244
+ "epoch": 0.11664753157290471,
6245
+ "grad_norm": 79.34785461425781,
6246
+ "learning_rate": 7.212113734215932e-05,
6247
+ "loss": 1.2661,
6248
+ "step": 889
6249
+ },
6250
+ {
6251
+ "epoch": 0.11677874364441529,
6252
+ "grad_norm": 76.99122619628906,
6253
+ "learning_rate": 7.191871380165538e-05,
6254
+ "loss": 1.1134,
6255
+ "step": 890
6256
+ },
6257
+ {
6258
+ "epoch": 0.11690995571592587,
6259
+ "grad_norm": 83.0638656616211,
6260
+ "learning_rate": 7.17164150983584e-05,
6261
+ "loss": 1.2442,
6262
+ "step": 891
6263
+ },
6264
+ {
6265
+ "epoch": 0.11704116778743645,
6266
+ "grad_norm": 82.86811065673828,
6267
+ "learning_rate": 7.151424213160061e-05,
6268
+ "loss": 1.316,
6269
+ "step": 892
6270
+ },
6271
+ {
6272
+ "epoch": 0.11717237985894702,
6273
+ "grad_norm": 80.93962097167969,
6274
+ "learning_rate": 7.131219580015521e-05,
6275
+ "loss": 1.2626,
6276
+ "step": 893
6277
+ },
6278
+ {
6279
+ "epoch": 0.1173035919304576,
6280
+ "grad_norm": 96.833984375,
6281
+ "learning_rate": 7.11102770022325e-05,
6282
+ "loss": 1.4285,
6283
+ "step": 894
6284
+ },
6285
+ {
6286
+ "epoch": 0.11743480400196818,
6287
+ "grad_norm": 77.8813705444336,
6288
+ "learning_rate": 7.090848663547574e-05,
6289
+ "loss": 1.2855,
6290
+ "step": 895
6291
+ },
6292
+ {
6293
+ "epoch": 0.11756601607347876,
6294
+ "grad_norm": 102.7423095703125,
6295
+ "learning_rate": 7.070682559695736e-05,
6296
+ "loss": 1.5953,
6297
+ "step": 896
6298
+ },
6299
+ {
6300
+ "epoch": 0.11769722814498934,
6301
+ "grad_norm": 77.7080078125,
6302
+ "learning_rate": 7.050529478317476e-05,
6303
+ "loss": 1.282,
6304
+ "step": 897
6305
+ },
6306
+ {
6307
+ "epoch": 0.11782844021649992,
6308
+ "grad_norm": 87.76219940185547,
6309
+ "learning_rate": 7.03038950900464e-05,
6310
+ "loss": 1.1632,
6311
+ "step": 898
6312
+ },
6313
+ {
6314
+ "epoch": 0.1179596522880105,
6315
+ "grad_norm": 78.38594818115234,
6316
+ "learning_rate": 7.010262741290798e-05,
6317
+ "loss": 1.0336,
6318
+ "step": 899
6319
+ },
6320
+ {
6321
+ "epoch": 0.11809086435952107,
6322
+ "grad_norm": 73.42670440673828,
6323
+ "learning_rate": 6.990149264650814e-05,
6324
+ "loss": 0.9046,
6325
+ "step": 900
6326
+ },
6327
+ {
6328
+ "epoch": 0.11822207643103165,
6329
+ "grad_norm": 76.01429748535156,
6330
+ "learning_rate": 6.970049168500474e-05,
6331
+ "loss": 1.0919,
6332
+ "step": 901
6333
+ },
6334
+ {
6335
+ "epoch": 0.11835328850254223,
6336
+ "grad_norm": 102.96312713623047,
6337
+ "learning_rate": 6.94996254219608e-05,
6338
+ "loss": 1.1038,
6339
+ "step": 902
6340
+ },
6341
+ {
6342
+ "epoch": 0.11848450057405281,
6343
+ "grad_norm": 95.3603744506836,
6344
+ "learning_rate": 6.929889475034048e-05,
6345
+ "loss": 1.427,
6346
+ "step": 903
6347
+ },
6348
+ {
6349
+ "epoch": 0.11861571264556339,
6350
+ "grad_norm": 95.59170532226562,
6351
+ "learning_rate": 6.909830056250527e-05,
6352
+ "loss": 1.4869,
6353
+ "step": 904
6354
+ },
6355
+ {
6356
+ "epoch": 0.11874692471707397,
6357
+ "grad_norm": 80.96112823486328,
6358
+ "learning_rate": 6.889784375020978e-05,
6359
+ "loss": 0.9966,
6360
+ "step": 905
6361
+ },
6362
+ {
6363
+ "epoch": 0.11887813678858455,
6364
+ "grad_norm": 86.87613677978516,
6365
+ "learning_rate": 6.869752520459803e-05,
6366
+ "loss": 1.4059,
6367
+ "step": 906
6368
+ },
6369
+ {
6370
+ "epoch": 0.11900934886009513,
6371
+ "grad_norm": 80.7220687866211,
6372
+ "learning_rate": 6.849734581619918e-05,
6373
+ "loss": 1.2773,
6374
+ "step": 907
6375
+ },
6376
+ {
6377
+ "epoch": 0.1191405609316057,
6378
+ "grad_norm": 74.66370391845703,
6379
+ "learning_rate": 6.829730647492404e-05,
6380
+ "loss": 0.9948,
6381
+ "step": 908
6382
+ },
6383
+ {
6384
+ "epoch": 0.11927177300311628,
6385
+ "grad_norm": 80.79701232910156,
6386
+ "learning_rate": 6.80974080700606e-05,
6387
+ "loss": 1.3181,
6388
+ "step": 909
6389
+ },
6390
+ {
6391
+ "epoch": 0.11940298507462686,
6392
+ "grad_norm": 83.53121948242188,
6393
+ "learning_rate": 6.789765149027039e-05,
6394
+ "loss": 1.1188,
6395
+ "step": 910
6396
+ },
6397
+ {
6398
+ "epoch": 0.11953419714613744,
6399
+ "grad_norm": 79.6371078491211,
6400
+ "learning_rate": 6.769803762358443e-05,
6401
+ "loss": 1.0999,
6402
+ "step": 911
6403
+ },
6404
+ {
6405
+ "epoch": 0.11966540921764802,
6406
+ "grad_norm": 78.49540710449219,
6407
+ "learning_rate": 6.749856735739928e-05,
6408
+ "loss": 1.1543,
6409
+ "step": 912
6410
+ },
6411
+ {
6412
+ "epoch": 0.1197966212891586,
6413
+ "grad_norm": 90.95901489257812,
6414
+ "learning_rate": 6.729924157847323e-05,
6415
+ "loss": 1.077,
6416
+ "step": 913
6417
+ },
6418
+ {
6419
+ "epoch": 0.11992783336066919,
6420
+ "grad_norm": 89.46601104736328,
6421
+ "learning_rate": 6.710006117292209e-05,
6422
+ "loss": 1.2309,
6423
+ "step": 914
6424
+ },
6425
+ {
6426
+ "epoch": 0.12005904543217977,
6427
+ "grad_norm": 81.42534637451172,
6428
+ "learning_rate": 6.690102702621548e-05,
6429
+ "loss": 0.8973,
6430
+ "step": 915
6431
+ },
6432
+ {
6433
+ "epoch": 0.12019025750369033,
6434
+ "grad_norm": 86.31146240234375,
6435
+ "learning_rate": 6.670214002317278e-05,
6436
+ "loss": 1.1906,
6437
+ "step": 916
6438
+ },
6439
+ {
6440
+ "epoch": 0.12032146957520092,
6441
+ "grad_norm": 77.64242553710938,
6442
+ "learning_rate": 6.650340104795932e-05,
6443
+ "loss": 1.1253,
6444
+ "step": 917
6445
+ },
6446
+ {
6447
+ "epoch": 0.1204526816467115,
6448
+ "grad_norm": 96.30457305908203,
6449
+ "learning_rate": 6.630481098408228e-05,
6450
+ "loss": 1.0787,
6451
+ "step": 918
6452
+ },
6453
+ {
6454
+ "epoch": 0.12058389371822208,
6455
+ "grad_norm": 86.64209747314453,
6456
+ "learning_rate": 6.610637071438686e-05,
6457
+ "loss": 1.0846,
6458
+ "step": 919
6459
+ },
6460
+ {
6461
+ "epoch": 0.12071510578973266,
6462
+ "grad_norm": 120.56439208984375,
6463
+ "learning_rate": 6.590808112105232e-05,
6464
+ "loss": 1.406,
6465
+ "step": 920
6466
+ },
6467
+ {
6468
+ "epoch": 0.12084631786124324,
6469
+ "grad_norm": 82.7140121459961,
6470
+ "learning_rate": 6.570994308558812e-05,
6471
+ "loss": 1.2397,
6472
+ "step": 921
6473
+ },
6474
+ {
6475
+ "epoch": 0.12097752993275382,
6476
+ "grad_norm": 100.1551742553711,
6477
+ "learning_rate": 6.551195748882997e-05,
6478
+ "loss": 1.3067,
6479
+ "step": 922
6480
+ },
6481
+ {
6482
+ "epoch": 0.12110874200426439,
6483
+ "grad_norm": 98.75762939453125,
6484
+ "learning_rate": 6.531412521093586e-05,
6485
+ "loss": 1.4248,
6486
+ "step": 923
6487
+ },
6488
+ {
6489
+ "epoch": 0.12123995407577497,
6490
+ "grad_norm": 84.06700134277344,
6491
+ "learning_rate": 6.51164471313822e-05,
6492
+ "loss": 1.2859,
6493
+ "step": 924
6494
+ },
6495
+ {
6496
+ "epoch": 0.12137116614728555,
6497
+ "grad_norm": 101.31942749023438,
6498
+ "learning_rate": 6.491892412895995e-05,
6499
+ "loss": 1.339,
6500
+ "step": 925
6501
+ },
6502
+ {
6503
+ "epoch": 0.12150237821879613,
6504
+ "grad_norm": 80.5140380859375,
6505
+ "learning_rate": 6.472155708177052e-05,
6506
+ "loss": 1.1143,
6507
+ "step": 926
6508
+ },
6509
+ {
6510
+ "epoch": 0.12163359029030671,
6511
+ "grad_norm": 94.0484848022461,
6512
+ "learning_rate": 6.452434686722224e-05,
6513
+ "loss": 1.2961,
6514
+ "step": 927
6515
+ },
6516
+ {
6517
+ "epoch": 0.12176480236181729,
6518
+ "grad_norm": 79.46549987792969,
6519
+ "learning_rate": 6.432729436202604e-05,
6520
+ "loss": 1.1237,
6521
+ "step": 928
6522
+ },
6523
+ {
6524
+ "epoch": 0.12189601443332787,
6525
+ "grad_norm": 71.63682556152344,
6526
+ "learning_rate": 6.41304004421918e-05,
6527
+ "loss": 1.0096,
6528
+ "step": 929
6529
+ },
6530
+ {
6531
+ "epoch": 0.12202722650483845,
6532
+ "grad_norm": 89.28536987304688,
6533
+ "learning_rate": 6.393366598302446e-05,
6534
+ "loss": 1.3502,
6535
+ "step": 930
6536
+ },
6537
+ {
6538
+ "epoch": 0.12215843857634902,
6539
+ "grad_norm": 84.19918823242188,
6540
+ "learning_rate": 6.373709185911998e-05,
6541
+ "loss": 1.2199,
6542
+ "step": 931
6543
+ },
6544
+ {
6545
+ "epoch": 0.1222896506478596,
6546
+ "grad_norm": 80.94573211669922,
6547
+ "learning_rate": 6.354067894436155e-05,
6548
+ "loss": 1.3371,
6549
+ "step": 932
6550
+ },
6551
+ {
6552
+ "epoch": 0.12242086271937018,
6553
+ "grad_norm": 79.59129333496094,
6554
+ "learning_rate": 6.334442811191576e-05,
6555
+ "loss": 1.2141,
6556
+ "step": 933
6557
+ },
6558
+ {
6559
+ "epoch": 0.12255207479088076,
6560
+ "grad_norm": 88.73218536376953,
6561
+ "learning_rate": 6.314834023422858e-05,
6562
+ "loss": 1.2853,
6563
+ "step": 934
6564
+ },
6565
+ {
6566
+ "epoch": 0.12268328686239134,
6567
+ "grad_norm": 66.05457305908203,
6568
+ "learning_rate": 6.295241618302156e-05,
6569
+ "loss": 0.8253,
6570
+ "step": 935
6571
+ },
6572
+ {
6573
+ "epoch": 0.12281449893390192,
6574
+ "grad_norm": 100.30980682373047,
6575
+ "learning_rate": 6.275665682928803e-05,
6576
+ "loss": 1.3808,
6577
+ "step": 936
6578
+ },
6579
+ {
6580
+ "epoch": 0.1229457110054125,
6581
+ "grad_norm": 81.35166931152344,
6582
+ "learning_rate": 6.256106304328905e-05,
6583
+ "loss": 1.1028,
6584
+ "step": 937
6585
+ },
6586
+ {
6587
+ "epoch": 0.12307692307692308,
6588
+ "grad_norm": 90.19493103027344,
6589
+ "learning_rate": 6.23656356945497e-05,
6590
+ "loss": 1.3201,
6591
+ "step": 938
6592
+ },
6593
+ {
6594
+ "epoch": 0.12320813514843365,
6595
+ "grad_norm": 79.76177215576172,
6596
+ "learning_rate": 6.21703756518551e-05,
6597
+ "loss": 1.1902,
6598
+ "step": 939
6599
+ },
6600
+ {
6601
+ "epoch": 0.12333934721994423,
6602
+ "grad_norm": 86.34595489501953,
6603
+ "learning_rate": 6.197528378324665e-05,
6604
+ "loss": 1.2645,
6605
+ "step": 940
6606
+ },
6607
+ {
6608
+ "epoch": 0.12347055929145481,
6609
+ "grad_norm": 102.84590911865234,
6610
+ "learning_rate": 6.17803609560181e-05,
6611
+ "loss": 1.4919,
6612
+ "step": 941
6613
+ },
6614
+ {
6615
+ "epoch": 0.12360177136296539,
6616
+ "grad_norm": 93.21085357666016,
6617
+ "learning_rate": 6.158560803671168e-05,
6618
+ "loss": 1.315,
6619
+ "step": 942
6620
+ },
6621
+ {
6622
+ "epoch": 0.12373298343447597,
6623
+ "grad_norm": 80.23776245117188,
6624
+ "learning_rate": 6.139102589111435e-05,
6625
+ "loss": 1.1273,
6626
+ "step": 943
6627
+ },
6628
+ {
6629
+ "epoch": 0.12386419550598655,
6630
+ "grad_norm": 77.1685791015625,
6631
+ "learning_rate": 6.119661538425381e-05,
6632
+ "loss": 1.2854,
6633
+ "step": 944
6634
+ },
6635
+ {
6636
+ "epoch": 0.12399540757749714,
6637
+ "grad_norm": 83.83993530273438,
6638
+ "learning_rate": 6.100237738039484e-05,
6639
+ "loss": 1.1223,
6640
+ "step": 945
6641
+ },
6642
+ {
6643
+ "epoch": 0.1241266196490077,
6644
+ "grad_norm": 83.0691146850586,
6645
+ "learning_rate": 6.0808312743035236e-05,
6646
+ "loss": 1.1178,
6647
+ "step": 946
6648
+ },
6649
+ {
6650
+ "epoch": 0.12425783172051828,
6651
+ "grad_norm": 98.6527328491211,
6652
+ "learning_rate": 6.061442233490211e-05,
6653
+ "loss": 1.2167,
6654
+ "step": 947
6655
+ },
6656
+ {
6657
+ "epoch": 0.12438904379202886,
6658
+ "grad_norm": 94.2676773071289,
6659
+ "learning_rate": 6.042070701794806e-05,
6660
+ "loss": 1.0235,
6661
+ "step": 948
6662
+ },
6663
+ {
6664
+ "epoch": 0.12452025586353944,
6665
+ "grad_norm": 79.8330307006836,
6666
+ "learning_rate": 6.0227167653347305e-05,
6667
+ "loss": 1.0503,
6668
+ "step": 949
6669
+ },
6670
+ {
6671
+ "epoch": 0.12465146793505003,
6672
+ "grad_norm": 80.43983459472656,
6673
+ "learning_rate": 6.0033805101491794e-05,
6674
+ "loss": 1.0692,
6675
+ "step": 950
6676
+ },
6677
+ {
6678
+ "epoch": 0.1247826800065606,
6679
+ "grad_norm": 75.39767456054688,
6680
+ "learning_rate": 5.98406202219875e-05,
6681
+ "loss": 1.1895,
6682
+ "step": 951
6683
+ },
6684
+ {
6685
+ "epoch": 0.12491389207807119,
6686
+ "grad_norm": 84.26925659179688,
6687
+ "learning_rate": 5.964761387365052e-05,
6688
+ "loss": 1.3174,
6689
+ "step": 952
6690
+ },
6691
+ {
6692
+ "epoch": 0.12504510414958175,
6693
+ "grad_norm": 83.67276000976562,
6694
+ "learning_rate": 5.9454786914503255e-05,
6695
+ "loss": 1.1032,
6696
+ "step": 953
6697
+ },
6698
+ {
6699
+ "epoch": 0.12517631622109235,
6700
+ "grad_norm": 76.90235900878906,
6701
+ "learning_rate": 5.926214020177074e-05,
6702
+ "loss": 1.1672,
6703
+ "step": 954
6704
+ },
6705
+ {
6706
+ "epoch": 0.12530752829260292,
6707
+ "grad_norm": 80.15973663330078,
6708
+ "learning_rate": 5.9069674591876534e-05,
6709
+ "loss": 1.3362,
6710
+ "step": 955
6711
+ },
6712
+ {
6713
+ "epoch": 0.1254387403641135,
6714
+ "grad_norm": 77.25790405273438,
6715
+ "learning_rate": 5.887739094043923e-05,
6716
+ "loss": 1.2179,
6717
+ "step": 956
6718
+ },
6719
+ {
6720
+ "epoch": 0.12556995243562408,
6721
+ "grad_norm": 78.84754943847656,
6722
+ "learning_rate": 5.868529010226845e-05,
6723
+ "loss": 1.2128,
6724
+ "step": 957
6725
+ },
6726
+ {
6727
+ "epoch": 0.12570116450713464,
6728
+ "grad_norm": 73.49491882324219,
6729
+ "learning_rate": 5.849337293136112e-05,
6730
+ "loss": 1.1622,
6731
+ "step": 958
6732
+ },
6733
+ {
6734
+ "epoch": 0.12583237657864524,
6735
+ "grad_norm": 67.60201263427734,
6736
+ "learning_rate": 5.830164028089766e-05,
6737
+ "loss": 0.8057,
6738
+ "step": 959
6739
+ },
6740
+ {
6741
+ "epoch": 0.1259635886501558,
6742
+ "grad_norm": 89.39290618896484,
6743
+ "learning_rate": 5.811009300323818e-05,
6744
+ "loss": 1.2938,
6745
+ "step": 960
6746
+ },
6747
+ {
6748
+ "epoch": 0.1260948007216664,
6749
+ "grad_norm": 74.048095703125,
6750
+ "learning_rate": 5.791873194991872e-05,
6751
+ "loss": 1.1232,
6752
+ "step": 961
6753
+ },
6754
+ {
6755
+ "epoch": 0.12622601279317697,
6756
+ "grad_norm": 66.7199478149414,
6757
+ "learning_rate": 5.7727557971647427e-05,
6758
+ "loss": 0.93,
6759
+ "step": 962
6760
+ },
6761
+ {
6762
+ "epoch": 0.12635722486468756,
6763
+ "grad_norm": 81.19363403320312,
6764
+ "learning_rate": 5.7536571918300864e-05,
6765
+ "loss": 1.1275,
6766
+ "step": 963
6767
+ },
6768
+ {
6769
+ "epoch": 0.12648843693619813,
6770
+ "grad_norm": 83.35269927978516,
6771
+ "learning_rate": 5.734577463892008e-05,
6772
+ "loss": 1.4104,
6773
+ "step": 964
6774
+ },
6775
+ {
6776
+ "epoch": 0.1266196490077087,
6777
+ "grad_norm": 73.7481460571289,
6778
+ "learning_rate": 5.7155166981706956e-05,
6779
+ "loss": 1.1557,
6780
+ "step": 965
6781
+ },
6782
+ {
6783
+ "epoch": 0.1267508610792193,
6784
+ "grad_norm": 74.92057037353516,
6785
+ "learning_rate": 5.6964749794020354e-05,
6786
+ "loss": 1.1487,
6787
+ "step": 966
6788
+ },
6789
+ {
6790
+ "epoch": 0.12688207315072986,
6791
+ "grad_norm": 76.392578125,
6792
+ "learning_rate": 5.6774523922372394e-05,
6793
+ "loss": 1.2103,
6794
+ "step": 967
6795
+ },
6796
+ {
6797
+ "epoch": 0.12701328522224045,
6798
+ "grad_norm": 95.00236511230469,
6799
+ "learning_rate": 5.6584490212424804e-05,
6800
+ "loss": 1.3699,
6801
+ "step": 968
6802
+ },
6803
+ {
6804
+ "epoch": 0.12714449729375102,
6805
+ "grad_norm": 91.27318572998047,
6806
+ "learning_rate": 5.639464950898491e-05,
6807
+ "loss": 1.273,
6808
+ "step": 969
6809
+ },
6810
+ {
6811
+ "epoch": 0.1272757093652616,
6812
+ "grad_norm": 69.59209442138672,
6813
+ "learning_rate": 5.620500265600206e-05,
6814
+ "loss": 0.9777,
6815
+ "step": 970
6816
+ },
6817
+ {
6818
+ "epoch": 0.12740692143677218,
6819
+ "grad_norm": 79.14124298095703,
6820
+ "learning_rate": 5.601555049656382e-05,
6821
+ "loss": 1.2307,
6822
+ "step": 971
6823
+ },
6824
+ {
6825
+ "epoch": 0.12753813350828277,
6826
+ "grad_norm": 78.90977478027344,
6827
+ "learning_rate": 5.58262938728922e-05,
6828
+ "loss": 1.168,
6829
+ "step": 972
6830
+ },
6831
+ {
6832
+ "epoch": 0.12766934557979334,
6833
+ "grad_norm": 73.35558319091797,
6834
+ "learning_rate": 5.563723362634008e-05,
6835
+ "loss": 1.1331,
6836
+ "step": 973
6837
+ },
6838
+ {
6839
+ "epoch": 0.1278005576513039,
6840
+ "grad_norm": 68.26853942871094,
6841
+ "learning_rate": 5.544837059738719e-05,
6842
+ "loss": 1.0879,
6843
+ "step": 974
6844
+ },
6845
+ {
6846
+ "epoch": 0.1279317697228145,
6847
+ "grad_norm": 88.05345916748047,
6848
+ "learning_rate": 5.525970562563656e-05,
6849
+ "loss": 1.1776,
6850
+ "step": 975
6851
+ },
6852
+ {
6853
+ "epoch": 0.12806298179432507,
6854
+ "grad_norm": 89.8759994506836,
6855
+ "learning_rate": 5.507123954981073e-05,
6856
+ "loss": 1.3996,
6857
+ "step": 976
6858
+ },
6859
+ {
6860
+ "epoch": 0.12819419386583567,
6861
+ "grad_norm": 81.99223327636719,
6862
+ "learning_rate": 5.488297320774807e-05,
6863
+ "loss": 1.2289,
6864
+ "step": 977
6865
+ },
6866
+ {
6867
+ "epoch": 0.12832540593734623,
6868
+ "grad_norm": 89.96368408203125,
6869
+ "learning_rate": 5.4694907436399e-05,
6870
+ "loss": 1.3267,
6871
+ "step": 978
6872
+ },
6873
+ {
6874
+ "epoch": 0.12845661800885683,
6875
+ "grad_norm": 65.02106475830078,
6876
+ "learning_rate": 5.4507043071822284e-05,
6877
+ "loss": 0.8666,
6878
+ "step": 979
6879
+ },
6880
+ {
6881
+ "epoch": 0.1285878300803674,
6882
+ "grad_norm": 72.8196792602539,
6883
+ "learning_rate": 5.431938094918132e-05,
6884
+ "loss": 1.0557,
6885
+ "step": 980
6886
+ },
6887
+ {
6888
+ "epoch": 0.12871904215187796,
6889
+ "grad_norm": 80.00843048095703,
6890
+ "learning_rate": 5.41319219027404e-05,
6891
+ "loss": 1.1253,
6892
+ "step": 981
6893
+ },
6894
+ {
6895
+ "epoch": 0.12885025422338856,
6896
+ "grad_norm": 87.73186492919922,
6897
+ "learning_rate": 5.394466676586114e-05,
6898
+ "loss": 1.3141,
6899
+ "step": 982
6900
+ },
6901
+ {
6902
+ "epoch": 0.12898146629489912,
6903
+ "grad_norm": 82.19802856445312,
6904
+ "learning_rate": 5.375761637099854e-05,
6905
+ "loss": 1.2266,
6906
+ "step": 983
6907
+ },
6908
+ {
6909
+ "epoch": 0.12911267836640972,
6910
+ "grad_norm": 81.80357360839844,
6911
+ "learning_rate": 5.357077154969742e-05,
6912
+ "loss": 1.1676,
6913
+ "step": 984
6914
+ },
6915
+ {
6916
+ "epoch": 0.12924389043792028,
6917
+ "grad_norm": 64.08479309082031,
6918
+ "learning_rate": 5.3384133132588784e-05,
6919
+ "loss": 0.9184,
6920
+ "step": 985
6921
+ },
6922
+ {
6923
+ "epoch": 0.12937510250943088,
6924
+ "grad_norm": 85.98280334472656,
6925
+ "learning_rate": 5.3197701949386e-05,
6926
+ "loss": 1.3069,
6927
+ "step": 986
6928
+ },
6929
+ {
6930
+ "epoch": 0.12950631458094145,
6931
+ "grad_norm": 75.3571548461914,
6932
+ "learning_rate": 5.301147882888116e-05,
6933
+ "loss": 1.0578,
6934
+ "step": 987
6935
+ },
6936
+ {
6937
+ "epoch": 0.129637526652452,
6938
+ "grad_norm": 69.68834686279297,
6939
+ "learning_rate": 5.28254645989414e-05,
6940
+ "loss": 0.9666,
6941
+ "step": 988
6942
+ },
6943
+ {
6944
+ "epoch": 0.1297687387239626,
6945
+ "grad_norm": 70.9851303100586,
6946
+ "learning_rate": 5.2639660086505226e-05,
6947
+ "loss": 0.9498,
6948
+ "step": 989
6949
+ },
6950
+ {
6951
+ "epoch": 0.12989995079547317,
6952
+ "grad_norm": 88.52960968017578,
6953
+ "learning_rate": 5.2454066117578815e-05,
6954
+ "loss": 1.2682,
6955
+ "step": 990
6956
+ },
6957
+ {
6958
+ "epoch": 0.13003116286698377,
6959
+ "grad_norm": 88.15095520019531,
6960
+ "learning_rate": 5.226868351723244e-05,
6961
+ "loss": 1.2018,
6962
+ "step": 991
6963
+ },
6964
+ {
6965
+ "epoch": 0.13016237493849434,
6966
+ "grad_norm": 95.7833480834961,
6967
+ "learning_rate": 5.2083513109596616e-05,
6968
+ "loss": 1.0795,
6969
+ "step": 992
6970
+ },
6971
+ {
6972
+ "epoch": 0.13029358701000493,
6973
+ "grad_norm": 81.77001953125,
6974
+ "learning_rate": 5.189855571785859e-05,
6975
+ "loss": 1.2438,
6976
+ "step": 993
6977
+ },
6978
+ {
6979
+ "epoch": 0.1304247990815155,
6980
+ "grad_norm": 78.49679565429688,
6981
+ "learning_rate": 5.171381216425863e-05,
6982
+ "loss": 1.0536,
6983
+ "step": 994
6984
+ },
6985
+ {
6986
+ "epoch": 0.1305560111530261,
6987
+ "grad_norm": 85.6697998046875,
6988
+ "learning_rate": 5.152928327008635e-05,
6989
+ "loss": 1.0529,
6990
+ "step": 995
6991
+ },
6992
+ {
6993
+ "epoch": 0.13068722322453666,
6994
+ "grad_norm": 81.8764419555664,
6995
+ "learning_rate": 5.134496985567714e-05,
6996
+ "loss": 1.1992,
6997
+ "step": 996
6998
+ },
6999
+ {
7000
+ "epoch": 0.13081843529604723,
7001
+ "grad_norm": 79.9547119140625,
7002
+ "learning_rate": 5.116087274040837e-05,
7003
+ "loss": 1.2193,
7004
+ "step": 997
7005
+ },
7006
+ {
7007
+ "epoch": 0.13094964736755782,
7008
+ "grad_norm": 85.14453125,
7009
+ "learning_rate": 5.0976992742695925e-05,
7010
+ "loss": 1.0081,
7011
+ "step": 998
7012
+ },
7013
+ {
7014
+ "epoch": 0.1310808594390684,
7015
+ "grad_norm": 83.98960876464844,
7016
+ "learning_rate": 5.07933306799904e-05,
7017
+ "loss": 1.1891,
7018
+ "step": 999
7019
+ },
7020
+ {
7021
+ "epoch": 0.13121207151057898,
7022
+ "grad_norm": 85.7392349243164,
7023
+ "learning_rate": 5.060988736877366e-05,
7024
+ "loss": 1.2281,
7025
+ "step": 1000
7026
+ },
7027
+ {
7028
+ "epoch": 0.13134328358208955,
7029
+ "grad_norm": 78.68650817871094,
7030
+ "learning_rate": 5.042666362455498e-05,
7031
+ "loss": 0.9805,
7032
+ "step": 1001
7033
+ },
7034
+ {
7035
+ "epoch": 0.13147449565360014,
7036
+ "grad_norm": 87.75737762451172,
7037
+ "learning_rate": 5.024366026186755e-05,
7038
+ "loss": 1.4402,
7039
+ "step": 1002
7040
+ },
7041
+ {
7042
+ "epoch": 0.1316057077251107,
7043
+ "grad_norm": 74.76168823242188,
7044
+ "learning_rate": 5.006087809426496e-05,
7045
+ "loss": 0.9178,
7046
+ "step": 1003
7047
+ },
7048
+ {
7049
+ "epoch": 0.13173691979662128,
7050
+ "grad_norm": 87.87181854248047,
7051
+ "learning_rate": 4.987831793431731e-05,
7052
+ "loss": 1.3922,
7053
+ "step": 1004
7054
+ },
7055
+ {
7056
+ "epoch": 0.13186813186813187,
7057
+ "grad_norm": 80.9386215209961,
7058
+ "learning_rate": 4.9695980593607817e-05,
7059
+ "loss": 1.1955,
7060
+ "step": 1005
7061
+ },
7062
+ {
7063
+ "epoch": 0.13199934393964244,
7064
+ "grad_norm": 75.18540954589844,
7065
+ "learning_rate": 4.9513866882729146e-05,
7066
+ "loss": 1.224,
7067
+ "step": 1006
7068
+ },
7069
+ {
7070
+ "epoch": 0.13213055601115303,
7071
+ "grad_norm": 82.27153778076172,
7072
+ "learning_rate": 4.9331977611279777e-05,
7073
+ "loss": 1.2444,
7074
+ "step": 1007
7075
+ },
7076
+ {
7077
+ "epoch": 0.1322617680826636,
7078
+ "grad_norm": 89.88761138916016,
7079
+ "learning_rate": 4.9150313587860433e-05,
7080
+ "loss": 1.3091,
7081
+ "step": 1008
7082
+ },
7083
+ {
7084
+ "epoch": 0.1323929801541742,
7085
+ "grad_norm": 62.554744720458984,
7086
+ "learning_rate": 4.896887562007054e-05,
7087
+ "loss": 0.8667,
7088
+ "step": 1009
7089
+ },
7090
+ {
7091
+ "epoch": 0.13252419222568476,
7092
+ "grad_norm": 72.94403839111328,
7093
+ "learning_rate": 4.8787664514504504e-05,
7094
+ "loss": 1.1776,
7095
+ "step": 1010
7096
+ },
7097
+ {
7098
+ "epoch": 0.13265540429719533,
7099
+ "grad_norm": 79.98250579833984,
7100
+ "learning_rate": 4.860668107674823e-05,
7101
+ "loss": 1.2097,
7102
+ "step": 1011
7103
+ },
7104
+ {
7105
+ "epoch": 0.13278661636870592,
7106
+ "grad_norm": 81.76577758789062,
7107
+ "learning_rate": 4.8425926111375506e-05,
7108
+ "loss": 1.2133,
7109
+ "step": 1012
7110
+ },
7111
+ {
7112
+ "epoch": 0.1329178284402165,
7113
+ "grad_norm": 81.15084075927734,
7114
+ "learning_rate": 4.824540042194443e-05,
7115
+ "loss": 1.1422,
7116
+ "step": 1013
7117
+ },
7118
+ {
7119
+ "epoch": 0.13304904051172708,
7120
+ "grad_norm": 73.56816101074219,
7121
+ "learning_rate": 4.8065104810993856e-05,
7122
+ "loss": 0.9783,
7123
+ "step": 1014
7124
+ },
7125
+ {
7126
+ "epoch": 0.13318025258323765,
7127
+ "grad_norm": 92.46258544921875,
7128
+ "learning_rate": 4.788504008003978e-05,
7129
+ "loss": 1.1844,
7130
+ "step": 1015
7131
+ },
7132
+ {
7133
+ "epoch": 0.13331146465474825,
7134
+ "grad_norm": 74.20399475097656,
7135
+ "learning_rate": 4.770520702957182e-05,
7136
+ "loss": 1.1262,
7137
+ "step": 1016
7138
+ },
7139
+ {
7140
+ "epoch": 0.1334426767262588,
7141
+ "grad_norm": 77.79273986816406,
7142
+ "learning_rate": 4.752560645904962e-05,
7143
+ "loss": 1.138,
7144
+ "step": 1017
7145
+ },
7146
+ {
7147
+ "epoch": 0.1335738887977694,
7148
+ "grad_norm": 80.13951873779297,
7149
+ "learning_rate": 4.734623916689941e-05,
7150
+ "loss": 1.1467,
7151
+ "step": 1018
7152
+ },
7153
+ {
7154
+ "epoch": 0.13370510086927997,
7155
+ "grad_norm": 81.62757110595703,
7156
+ "learning_rate": 4.716710595051022e-05,
7157
+ "loss": 1.159,
7158
+ "step": 1019
7159
+ },
7160
+ {
7161
+ "epoch": 0.13383631294079054,
7162
+ "grad_norm": 66.25305938720703,
7163
+ "learning_rate": 4.698820760623064e-05,
7164
+ "loss": 0.8899,
7165
+ "step": 1020
7166
+ },
7167
+ {
7168
+ "epoch": 0.13396752501230114,
7169
+ "grad_norm": 88.61091613769531,
7170
+ "learning_rate": 4.6809544929365004e-05,
7171
+ "loss": 1.3789,
7172
+ "step": 1021
7173
+ },
7174
+ {
7175
+ "epoch": 0.1340987370838117,
7176
+ "grad_norm": 68.76612854003906,
7177
+ "learning_rate": 4.663111871417e-05,
7178
+ "loss": 0.8624,
7179
+ "step": 1022
7180
+ },
7181
+ {
7182
+ "epoch": 0.1342299491553223,
7183
+ "grad_norm": 83.45545196533203,
7184
+ "learning_rate": 4.645292975385111e-05,
7185
+ "loss": 1.1052,
7186
+ "step": 1023
7187
+ },
7188
+ {
7189
+ "epoch": 0.13436116122683286,
7190
+ "grad_norm": 83.41942596435547,
7191
+ "learning_rate": 4.627497884055912e-05,
7192
+ "loss": 1.2137,
7193
+ "step": 1024
7194
+ },
7195
+ {
7196
+ "epoch": 0.13449237329834346,
7197
+ "grad_norm": 87.13421630859375,
7198
+ "learning_rate": 4.609726676538652e-05,
7199
+ "loss": 1.3902,
7200
+ "step": 1025
7201
+ },
7202
+ {
7203
+ "epoch": 0.13462358536985403,
7204
+ "grad_norm": 72.57111358642578,
7205
+ "learning_rate": 4.591979431836402e-05,
7206
+ "loss": 1.0551,
7207
+ "step": 1026
7208
+ },
7209
+ {
7210
+ "epoch": 0.1347547974413646,
7211
+ "grad_norm": 77.98977661132812,
7212
+ "learning_rate": 4.574256228845706e-05,
7213
+ "loss": 1.2052,
7214
+ "step": 1027
7215
+ },
7216
+ {
7217
+ "epoch": 0.1348860095128752,
7218
+ "grad_norm": 89.48870086669922,
7219
+ "learning_rate": 4.5565571463562365e-05,
7220
+ "loss": 1.3083,
7221
+ "step": 1028
7222
+ },
7223
+ {
7224
+ "epoch": 0.13501722158438575,
7225
+ "grad_norm": 76.56085205078125,
7226
+ "learning_rate": 4.5388822630504256e-05,
7227
+ "loss": 1.1178,
7228
+ "step": 1029
7229
+ },
7230
+ {
7231
+ "epoch": 0.13514843365589635,
7232
+ "grad_norm": 72.62358093261719,
7233
+ "learning_rate": 4.521231657503132e-05,
7234
+ "loss": 0.9959,
7235
+ "step": 1030
7236
+ },
7237
+ {
7238
+ "epoch": 0.13527964572740692,
7239
+ "grad_norm": 74.80716705322266,
7240
+ "learning_rate": 4.503605408181286e-05,
7241
+ "loss": 1.1967,
7242
+ "step": 1031
7243
+ },
7244
+ {
7245
+ "epoch": 0.1354108577989175,
7246
+ "grad_norm": 70.13179016113281,
7247
+ "learning_rate": 4.486003593443537e-05,
7248
+ "loss": 1.0661,
7249
+ "step": 1032
7250
+ },
7251
+ {
7252
+ "epoch": 0.13554206987042808,
7253
+ "grad_norm": 83.18326568603516,
7254
+ "learning_rate": 4.468426291539914e-05,
7255
+ "loss": 1.1548,
7256
+ "step": 1033
7257
+ },
7258
+ {
7259
+ "epoch": 0.13567328194193864,
7260
+ "grad_norm": 71.34968566894531,
7261
+ "learning_rate": 4.4508735806114654e-05,
7262
+ "loss": 1.0385,
7263
+ "step": 1034
7264
+ },
7265
+ {
7266
+ "epoch": 0.13580449401344924,
7267
+ "grad_norm": 83.74834442138672,
7268
+ "learning_rate": 4.433345538689929e-05,
7269
+ "loss": 1.2305,
7270
+ "step": 1035
7271
+ },
7272
+ {
7273
+ "epoch": 0.1359357060849598,
7274
+ "grad_norm": 78.68016815185547,
7275
+ "learning_rate": 4.415842243697369e-05,
7276
+ "loss": 1.1928,
7277
+ "step": 1036
7278
+ },
7279
+ {
7280
+ "epoch": 0.1360669181564704,
7281
+ "grad_norm": 72.68682098388672,
7282
+ "learning_rate": 4.39836377344583e-05,
7283
+ "loss": 0.891,
7284
+ "step": 1037
7285
+ },
7286
+ {
7287
+ "epoch": 0.13619813022798097,
7288
+ "grad_norm": 81.73300170898438,
7289
+ "learning_rate": 4.380910205637012e-05,
7290
+ "loss": 1.1436,
7291
+ "step": 1038
7292
+ },
7293
+ {
7294
+ "epoch": 0.13632934229949156,
7295
+ "grad_norm": 84.24224090576172,
7296
+ "learning_rate": 4.363481617861893e-05,
7297
+ "loss": 1.1992,
7298
+ "step": 1039
7299
+ },
7300
+ {
7301
+ "epoch": 0.13646055437100213,
7302
+ "grad_norm": 76.39823150634766,
7303
+ "learning_rate": 4.346078087600412e-05,
7304
+ "loss": 1.1263,
7305
+ "step": 1040
7306
+ },
7307
+ {
7308
+ "epoch": 0.13659176644251272,
7309
+ "grad_norm": 81.22613525390625,
7310
+ "learning_rate": 4.3286996922211034e-05,
7311
+ "loss": 1.2476,
7312
+ "step": 1041
7313
+ },
7314
+ {
7315
+ "epoch": 0.1367229785140233,
7316
+ "grad_norm": 84.17645263671875,
7317
+ "learning_rate": 4.311346508980772e-05,
7318
+ "loss": 1.1626,
7319
+ "step": 1042
7320
+ },
7321
+ {
7322
+ "epoch": 0.13685419058553386,
7323
+ "grad_norm": 77.53297424316406,
7324
+ "learning_rate": 4.2940186150241365e-05,
7325
+ "loss": 1.1552,
7326
+ "step": 1043
7327
+ },
7328
+ {
7329
+ "epoch": 0.13698540265704445,
7330
+ "grad_norm": 78.96730041503906,
7331
+ "learning_rate": 4.27671608738349e-05,
7332
+ "loss": 1.1313,
7333
+ "step": 1044
7334
+ },
7335
+ {
7336
+ "epoch": 0.13711661472855502,
7337
+ "grad_norm": 74.94930267333984,
7338
+ "learning_rate": 4.2594390029783534e-05,
7339
+ "loss": 1.0609,
7340
+ "step": 1045
7341
+ },
7342
+ {
7343
+ "epoch": 0.13724782680006561,
7344
+ "grad_norm": 77.02103424072266,
7345
+ "learning_rate": 4.242187438615153e-05,
7346
+ "loss": 1.0584,
7347
+ "step": 1046
7348
+ },
7349
+ {
7350
+ "epoch": 0.13737903887157618,
7351
+ "grad_norm": 82.13597869873047,
7352
+ "learning_rate": 4.224961470986849e-05,
7353
+ "loss": 1.2085,
7354
+ "step": 1047
7355
+ },
7356
+ {
7357
+ "epoch": 0.13751025094308678,
7358
+ "grad_norm": 78.32071685791016,
7359
+ "learning_rate": 4.207761176672614e-05,
7360
+ "loss": 1.0407,
7361
+ "step": 1048
7362
+ },
7363
+ {
7364
+ "epoch": 0.13764146301459734,
7365
+ "grad_norm": 91.04803466796875,
7366
+ "learning_rate": 4.190586632137491e-05,
7367
+ "loss": 1.1072,
7368
+ "step": 1049
7369
+ },
7370
+ {
7371
+ "epoch": 0.1377726750861079,
7372
+ "grad_norm": 95.67418670654297,
7373
+ "learning_rate": 4.173437913732048e-05,
7374
+ "loss": 1.2645,
7375
+ "step": 1050
7376
+ },
7377
+ {
7378
+ "epoch": 0.1379038871576185,
7379
+ "grad_norm": 82.18598175048828,
7380
+ "learning_rate": 4.156315097692037e-05,
7381
+ "loss": 1.1896,
7382
+ "step": 1051
7383
+ },
7384
+ {
7385
+ "epoch": 0.13803509922912907,
7386
+ "grad_norm": 69.84553527832031,
7387
+ "learning_rate": 4.139218260138074e-05,
7388
+ "loss": 0.9984,
7389
+ "step": 1052
7390
+ },
7391
+ {
7392
+ "epoch": 0.13816631130063967,
7393
+ "grad_norm": 77.92560577392578,
7394
+ "learning_rate": 4.12214747707527e-05,
7395
+ "loss": 1.2164,
7396
+ "step": 1053
7397
+ },
7398
+ {
7399
+ "epoch": 0.13829752337215023,
7400
+ "grad_norm": 78.45890808105469,
7401
+ "learning_rate": 4.1051028243929125e-05,
7402
+ "loss": 1.3791,
7403
+ "step": 1054
7404
+ },
7405
+ {
7406
+ "epoch": 0.13842873544366083,
7407
+ "grad_norm": 84.03868103027344,
7408
+ "learning_rate": 4.088084377864135e-05,
7409
+ "loss": 1.0555,
7410
+ "step": 1055
7411
+ },
7412
+ {
7413
+ "epoch": 0.1385599475151714,
7414
+ "grad_norm": 80.94784545898438,
7415
+ "learning_rate": 4.07109221314556e-05,
7416
+ "loss": 1.34,
7417
+ "step": 1056
7418
+ },
7419
+ {
7420
+ "epoch": 0.13869115958668196,
7421
+ "grad_norm": 81.8576431274414,
7422
+ "learning_rate": 4.054126405776971e-05,
7423
+ "loss": 1.1598,
7424
+ "step": 1057
7425
+ },
7426
+ {
7427
+ "epoch": 0.13882237165819256,
7428
+ "grad_norm": 76.01251220703125,
7429
+ "learning_rate": 4.037187031180985e-05,
7430
+ "loss": 1.118,
7431
+ "step": 1058
7432
+ },
7433
+ {
7434
+ "epoch": 0.13895358372970312,
7435
+ "grad_norm": 71.07621765136719,
7436
+ "learning_rate": 4.020274164662707e-05,
7437
+ "loss": 1.1594,
7438
+ "step": 1059
7439
+ },
7440
+ {
7441
+ "epoch": 0.13908479580121372,
7442
+ "grad_norm": 80.01371002197266,
7443
+ "learning_rate": 4.003387881409397e-05,
7444
+ "loss": 1.0442,
7445
+ "step": 1060
7446
+ },
7447
+ {
7448
+ "epoch": 0.13921600787272428,
7449
+ "grad_norm": 76.29126739501953,
7450
+ "learning_rate": 3.986528256490141e-05,
7451
+ "loss": 1.2139,
7452
+ "step": 1061
7453
+ },
7454
+ {
7455
+ "epoch": 0.13934721994423488,
7456
+ "grad_norm": 78.54533386230469,
7457
+ "learning_rate": 3.969695364855511e-05,
7458
+ "loss": 1.1682,
7459
+ "step": 1062
7460
+ },
7461
+ {
7462
+ "epoch": 0.13947843201574545,
7463
+ "grad_norm": 84.36077117919922,
7464
+ "learning_rate": 3.952889281337235e-05,
7465
+ "loss": 1.2345,
7466
+ "step": 1063
7467
+ },
7468
+ {
7469
+ "epoch": 0.13960964408725604,
7470
+ "grad_norm": 75.85221862792969,
7471
+ "learning_rate": 3.93611008064786e-05,
7472
+ "loss": 1.0906,
7473
+ "step": 1064
7474
+ },
7475
+ {
7476
+ "epoch": 0.1397408561587666,
7477
+ "grad_norm": 76.5043716430664,
7478
+ "learning_rate": 3.9193578373804364e-05,
7479
+ "loss": 1.0302,
7480
+ "step": 1065
7481
+ },
7482
+ {
7483
+ "epoch": 0.13987206823027717,
7484
+ "grad_norm": 72.82099151611328,
7485
+ "learning_rate": 3.90263262600816e-05,
7486
+ "loss": 0.9824,
7487
+ "step": 1066
7488
+ },
7489
+ {
7490
+ "epoch": 0.14000328030178777,
7491
+ "grad_norm": 73.16133880615234,
7492
+ "learning_rate": 3.88593452088406e-05,
7493
+ "loss": 1.0664,
7494
+ "step": 1067
7495
+ },
7496
+ {
7497
+ "epoch": 0.14013449237329834,
7498
+ "grad_norm": 69.83660125732422,
7499
+ "learning_rate": 3.869263596240661e-05,
7500
+ "loss": 1.1104,
7501
+ "step": 1068
7502
+ },
7503
+ {
7504
+ "epoch": 0.14026570444480893,
7505
+ "grad_norm": 59.826416015625,
7506
+ "learning_rate": 3.8526199261896544e-05,
7507
+ "loss": 0.7265,
7508
+ "step": 1069
7509
+ },
7510
+ {
7511
+ "epoch": 0.1403969165163195,
7512
+ "grad_norm": 75.51627349853516,
7513
+ "learning_rate": 3.836003584721577e-05,
7514
+ "loss": 1.1188,
7515
+ "step": 1070
7516
+ },
7517
+ {
7518
+ "epoch": 0.1405281285878301,
7519
+ "grad_norm": 76.36466979980469,
7520
+ "learning_rate": 3.8194146457054655e-05,
7521
+ "loss": 1.0615,
7522
+ "step": 1071
7523
+ },
7524
+ {
7525
+ "epoch": 0.14065934065934066,
7526
+ "grad_norm": 72.96395111083984,
7527
+ "learning_rate": 3.802853182888543e-05,
7528
+ "loss": 1.1025,
7529
+ "step": 1072
7530
+ },
7531
+ {
7532
+ "epoch": 0.14079055273085123,
7533
+ "grad_norm": 89.4021224975586,
7534
+ "learning_rate": 3.786319269895877e-05,
7535
+ "loss": 1.2447,
7536
+ "step": 1073
7537
+ },
7538
+ {
7539
+ "epoch": 0.14092176480236182,
7540
+ "grad_norm": 90.27672576904297,
7541
+ "learning_rate": 3.769812980230074e-05,
7542
+ "loss": 1.0668,
7543
+ "step": 1074
7544
+ },
7545
+ {
7546
+ "epoch": 0.1410529768738724,
7547
+ "grad_norm": 77.8091812133789,
7548
+ "learning_rate": 3.7533343872709294e-05,
7549
+ "loss": 1.1986,
7550
+ "step": 1075
7551
+ },
7552
+ {
7553
+ "epoch": 0.14118418894538298,
7554
+ "grad_norm": 71.89775085449219,
7555
+ "learning_rate": 3.736883564275112e-05,
7556
+ "loss": 1.0691,
7557
+ "step": 1076
7558
+ },
7559
+ {
7560
+ "epoch": 0.14131540101689355,
7561
+ "grad_norm": 77.78672790527344,
7562
+ "learning_rate": 3.7204605843758386e-05,
7563
+ "loss": 1.1897,
7564
+ "step": 1077
7565
+ },
7566
+ {
7567
+ "epoch": 0.14144661308840414,
7568
+ "grad_norm": 80.20154571533203,
7569
+ "learning_rate": 3.704065520582549e-05,
7570
+ "loss": 1.271,
7571
+ "step": 1078
7572
+ },
7573
+ {
7574
+ "epoch": 0.1415778251599147,
7575
+ "grad_norm": 63.987327575683594,
7576
+ "learning_rate": 3.6876984457805786e-05,
7577
+ "loss": 0.7241,
7578
+ "step": 1079
7579
+ },
7580
+ {
7581
+ "epoch": 0.14170903723142528,
7582
+ "grad_norm": 79.87057495117188,
7583
+ "learning_rate": 3.671359432730834e-05,
7584
+ "loss": 1.2956,
7585
+ "step": 1080
7586
+ },
7587
+ {
7588
+ "epoch": 0.14184024930293587,
7589
+ "grad_norm": 80.74537658691406,
7590
+ "learning_rate": 3.655048554069478e-05,
7591
+ "loss": 1.2117,
7592
+ "step": 1081
7593
+ },
7594
+ {
7595
+ "epoch": 0.14197146137444644,
7596
+ "grad_norm": 81.21459197998047,
7597
+ "learning_rate": 3.638765882307589e-05,
7598
+ "loss": 1.2179,
7599
+ "step": 1082
7600
+ },
7601
+ {
7602
+ "epoch": 0.14210267344595703,
7603
+ "grad_norm": 92.52425384521484,
7604
+ "learning_rate": 3.6225114898308634e-05,
7605
+ "loss": 1.3275,
7606
+ "step": 1083
7607
+ },
7608
+ {
7609
+ "epoch": 0.1422338855174676,
7610
+ "grad_norm": 74.58345031738281,
7611
+ "learning_rate": 3.6062854488992714e-05,
7612
+ "loss": 0.9602,
7613
+ "step": 1084
7614
+ },
7615
+ {
7616
+ "epoch": 0.1423650975889782,
7617
+ "grad_norm": 73.6881332397461,
7618
+ "learning_rate": 3.5900878316467454e-05,
7619
+ "loss": 1.0582,
7620
+ "step": 1085
7621
+ },
7622
+ {
7623
+ "epoch": 0.14249630966048876,
7624
+ "grad_norm": 83.31182098388672,
7625
+ "learning_rate": 3.573918710080857e-05,
7626
+ "loss": 1.3372,
7627
+ "step": 1086
7628
+ },
7629
+ {
7630
+ "epoch": 0.14262752173199936,
7631
+ "grad_norm": 77.0564956665039,
7632
+ "learning_rate": 3.5577781560825066e-05,
7633
+ "loss": 1.0955,
7634
+ "step": 1087
7635
+ },
7636
+ {
7637
+ "epoch": 0.14275873380350992,
7638
+ "grad_norm": 79.33744049072266,
7639
+ "learning_rate": 3.541666241405588e-05,
7640
+ "loss": 1.277,
7641
+ "step": 1088
7642
+ },
7643
+ {
7644
+ "epoch": 0.1428899458750205,
7645
+ "grad_norm": 70.41979217529297,
7646
+ "learning_rate": 3.5255830376766764e-05,
7647
+ "loss": 0.9681,
7648
+ "step": 1089
7649
+ },
7650
+ {
7651
+ "epoch": 0.14302115794653109,
7652
+ "grad_norm": 107.60590362548828,
7653
+ "learning_rate": 3.509528616394716e-05,
7654
+ "loss": 1.1465,
7655
+ "step": 1090
7656
+ },
7657
+ {
7658
+ "epoch": 0.14315237001804165,
7659
+ "grad_norm": 81.1191177368164,
7660
+ "learning_rate": 3.4935030489306883e-05,
7661
+ "loss": 1.1125,
7662
+ "step": 1091
7663
+ },
7664
+ {
7665
+ "epoch": 0.14328358208955225,
7666
+ "grad_norm": 74.24160766601562,
7667
+ "learning_rate": 3.4775064065273165e-05,
7668
+ "loss": 1.2363,
7669
+ "step": 1092
7670
+ },
7671
+ {
7672
+ "epoch": 0.14341479416106281,
7673
+ "grad_norm": 93.1820297241211,
7674
+ "learning_rate": 3.4615387602987236e-05,
7675
+ "loss": 1.4472,
7676
+ "step": 1093
7677
+ },
7678
+ {
7679
+ "epoch": 0.1435460062325734,
7680
+ "grad_norm": 71.58454895019531,
7681
+ "learning_rate": 3.445600181230134e-05,
7682
+ "loss": 1.1634,
7683
+ "step": 1094
7684
+ },
7685
+ {
7686
+ "epoch": 0.14367721830408398,
7687
+ "grad_norm": 82.26412963867188,
7688
+ "learning_rate": 3.429690740177549e-05,
7689
+ "loss": 1.1711,
7690
+ "step": 1095
7691
+ },
7692
+ {
7693
+ "epoch": 0.14380843037559454,
7694
+ "grad_norm": 77.81709289550781,
7695
+ "learning_rate": 3.413810507867436e-05,
7696
+ "loss": 1.1686,
7697
+ "step": 1096
7698
+ },
7699
+ {
7700
+ "epoch": 0.14393964244710514,
7701
+ "grad_norm": 90.8698959350586,
7702
+ "learning_rate": 3.397959554896415e-05,
7703
+ "loss": 1.2168,
7704
+ "step": 1097
7705
+ },
7706
+ {
7707
+ "epoch": 0.1440708545186157,
7708
+ "grad_norm": 73.94993591308594,
7709
+ "learning_rate": 3.3821379517309405e-05,
7710
+ "loss": 1.1268,
7711
+ "step": 1098
7712
+ },
7713
+ {
7714
+ "epoch": 0.1442020665901263,
7715
+ "grad_norm": 100.52758026123047,
7716
+ "learning_rate": 3.3663457687069924e-05,
7717
+ "loss": 1.2303,
7718
+ "step": 1099
7719
+ },
7720
+ {
7721
+ "epoch": 0.14433327866163687,
7722
+ "grad_norm": 102.02374267578125,
7723
+ "learning_rate": 3.350583076029754e-05,
7724
+ "loss": 1.2834,
7725
+ "step": 1100
7726
+ },
7727
+ {
7728
+ "epoch": 0.14446449073314746,
7729
+ "grad_norm": 71.72270965576172,
7730
+ "learning_rate": 3.334849943773323e-05,
7731
+ "loss": 1.0353,
7732
+ "step": 1101
7733
+ },
7734
+ {
7735
+ "epoch": 0.14459570280465803,
7736
+ "grad_norm": 67.39696502685547,
7737
+ "learning_rate": 3.319146441880371e-05,
7738
+ "loss": 1.0956,
7739
+ "step": 1102
7740
+ },
7741
+ {
7742
+ "epoch": 0.1447269148761686,
7743
+ "grad_norm": 72.23811340332031,
7744
+ "learning_rate": 3.3034726401618444e-05,
7745
+ "loss": 1.1044,
7746
+ "step": 1103
7747
+ },
7748
+ {
7749
+ "epoch": 0.1448581269476792,
7750
+ "grad_norm": 88.7195816040039,
7751
+ "learning_rate": 3.28782860829667e-05,
7752
+ "loss": 1.0921,
7753
+ "step": 1104
7754
+ },
7755
+ {
7756
+ "epoch": 0.14498933901918976,
7757
+ "grad_norm": 76.1098861694336,
7758
+ "learning_rate": 3.272214415831418e-05,
7759
+ "loss": 1.3162,
7760
+ "step": 1105
7761
+ },
7762
+ {
7763
+ "epoch": 0.14512055109070035,
7764
+ "grad_norm": 81.88814544677734,
7765
+ "learning_rate": 3.2566301321800085e-05,
7766
+ "loss": 1.2916,
7767
+ "step": 1106
7768
+ },
7769
+ {
7770
+ "epoch": 0.14525176316221092,
7771
+ "grad_norm": 74.16931915283203,
7772
+ "learning_rate": 3.241075826623401e-05,
7773
+ "loss": 1.2259,
7774
+ "step": 1107
7775
+ },
7776
+ {
7777
+ "epoch": 0.1453829752337215,
7778
+ "grad_norm": 70.73887634277344,
7779
+ "learning_rate": 3.225551568309284e-05,
7780
+ "loss": 1.0428,
7781
+ "step": 1108
7782
+ },
7783
+ {
7784
+ "epoch": 0.14551418730523208,
7785
+ "grad_norm": 79.63719940185547,
7786
+ "learning_rate": 3.210057426251773e-05,
7787
+ "loss": 1.0832,
7788
+ "step": 1109
7789
+ },
7790
+ {
7791
+ "epoch": 0.14564539937674267,
7792
+ "grad_norm": 80.26901245117188,
7793
+ "learning_rate": 3.1945934693310896e-05,
7794
+ "loss": 1.2107,
7795
+ "step": 1110
7796
+ },
7797
+ {
7798
+ "epoch": 0.14577661144825324,
7799
+ "grad_norm": 73.19075012207031,
7800
+ "learning_rate": 3.179159766293282e-05,
7801
+ "loss": 1.2271,
7802
+ "step": 1111
7803
+ },
7804
+ {
7805
+ "epoch": 0.1459078235197638,
7806
+ "grad_norm": 77.24995422363281,
7807
+ "learning_rate": 3.163756385749889e-05,
7808
+ "loss": 1.0926,
7809
+ "step": 1112
7810
+ },
7811
+ {
7812
+ "epoch": 0.1460390355912744,
7813
+ "grad_norm": 78.86018371582031,
7814
+ "learning_rate": 3.148383396177653e-05,
7815
+ "loss": 1.0718,
7816
+ "step": 1113
7817
+ },
7818
+ {
7819
+ "epoch": 0.14617024766278497,
7820
+ "grad_norm": 74.18000793457031,
7821
+ "learning_rate": 3.133040865918213e-05,
7822
+ "loss": 1.1134,
7823
+ "step": 1114
7824
+ },
7825
+ {
7826
+ "epoch": 0.14630145973429556,
7827
+ "grad_norm": 71.132080078125,
7828
+ "learning_rate": 3.117728863177796e-05,
7829
+ "loss": 1.1511,
7830
+ "step": 1115
7831
+ },
7832
+ {
7833
+ "epoch": 0.14643267180580613,
7834
+ "grad_norm": 73.233642578125,
7835
+ "learning_rate": 3.102447456026919e-05,
7836
+ "loss": 1.0333,
7837
+ "step": 1116
7838
+ },
7839
+ {
7840
+ "epoch": 0.14656388387731673,
7841
+ "grad_norm": 68.40826416015625,
7842
+ "learning_rate": 3.0871967124000834e-05,
7843
+ "loss": 1.0732,
7844
+ "step": 1117
7845
+ },
7846
+ {
7847
+ "epoch": 0.1466950959488273,
7848
+ "grad_norm": 73.65232849121094,
7849
+ "learning_rate": 3.0719767000954714e-05,
7850
+ "loss": 1.1053,
7851
+ "step": 1118
7852
+ },
7853
+ {
7854
+ "epoch": 0.14682630802033786,
7855
+ "grad_norm": 100.50982666015625,
7856
+ "learning_rate": 3.056787486774656e-05,
7857
+ "loss": 1.3524,
7858
+ "step": 1119
7859
+ },
7860
+ {
7861
+ "epoch": 0.14695752009184845,
7862
+ "grad_norm": 64.12255096435547,
7863
+ "learning_rate": 3.041629139962283e-05,
7864
+ "loss": 0.8443,
7865
+ "step": 1120
7866
+ },
7867
+ {
7868
+ "epoch": 0.14708873216335902,
7869
+ "grad_norm": 79.35578155517578,
7870
+ "learning_rate": 3.0265017270457775e-05,
7871
+ "loss": 1.2219,
7872
+ "step": 1121
7873
+ },
7874
+ {
7875
+ "epoch": 0.14721994423486962,
7876
+ "grad_norm": 73.58233642578125,
7877
+ "learning_rate": 3.0114053152750556e-05,
7878
+ "loss": 1.0997,
7879
+ "step": 1122
7880
+ },
7881
+ {
7882
+ "epoch": 0.14735115630638018,
7883
+ "grad_norm": 81.35496520996094,
7884
+ "learning_rate": 2.9963399717622077e-05,
7885
+ "loss": 1.1356,
7886
+ "step": 1123
7887
+ },
7888
+ {
7889
+ "epoch": 0.14748236837789078,
7890
+ "grad_norm": 75.18378448486328,
7891
+ "learning_rate": 2.98130576348121e-05,
7892
+ "loss": 1.0517,
7893
+ "step": 1124
7894
+ },
7895
+ {
7896
+ "epoch": 0.14761358044940134,
7897
+ "grad_norm": 77.94686126708984,
7898
+ "learning_rate": 2.966302757267625e-05,
7899
+ "loss": 0.9647,
7900
+ "step": 1125
7901
+ },
7902
+ {
7903
+ "epoch": 0.14761358044940134,
7904
+ "eval_loss": 1.1374354362487793,
7905
+ "eval_runtime": 760.6543,
7906
+ "eval_samples_per_second": 16.875,
7907
+ "eval_steps_per_second": 8.437,
7908
+ "step": 1125
7909
  }
7910
  ],
7911
  "logging_steps": 1,
 
7925
  "attributes": {}
7926
  }
7927
  },
7928
+ "total_flos": 1.6092550933480735e+18,
7929
  "train_batch_size": 2,
7930
  "trial_name": null,
7931
  "trial_params": null