|
{
|
|
"best_metric": 0.6355786919593811,
|
|
"best_model_checkpoint": "./vit-base-kidney-stone\\checkpoint-300",
|
|
"epoch": 1.0,
|
|
"eval_steps": 100,
|
|
"global_step": 300,
|
|
"is_hyper_param_search": false,
|
|
"is_local_process_zero": true,
|
|
"is_world_process_zero": true,
|
|
"log_history": [
|
|
{
|
|
"epoch": 0.02,
|
|
"learning_rate": 0.00019666666666666666,
|
|
"loss": 1.7,
|
|
"step": 5
|
|
},
|
|
{
|
|
"epoch": 0.03,
|
|
"learning_rate": 0.00019333333333333333,
|
|
"loss": 1.4482,
|
|
"step": 10
|
|
},
|
|
{
|
|
"epoch": 0.05,
|
|
"learning_rate": 0.00019,
|
|
"loss": 1.2193,
|
|
"step": 15
|
|
},
|
|
{
|
|
"epoch": 0.07,
|
|
"learning_rate": 0.0001866666666666667,
|
|
"loss": 0.9874,
|
|
"step": 20
|
|
},
|
|
{
|
|
"epoch": 0.08,
|
|
"learning_rate": 0.00018333333333333334,
|
|
"loss": 0.8483,
|
|
"step": 25
|
|
},
|
|
{
|
|
"epoch": 0.1,
|
|
"learning_rate": 0.00018,
|
|
"loss": 0.6737,
|
|
"step": 30
|
|
},
|
|
{
|
|
"epoch": 0.12,
|
|
"learning_rate": 0.00017666666666666666,
|
|
"loss": 0.625,
|
|
"step": 35
|
|
},
|
|
{
|
|
"epoch": 0.13,
|
|
"learning_rate": 0.00017333333333333334,
|
|
"loss": 0.643,
|
|
"step": 40
|
|
},
|
|
{
|
|
"epoch": 0.15,
|
|
"learning_rate": 0.00017,
|
|
"loss": 0.5202,
|
|
"step": 45
|
|
},
|
|
{
|
|
"epoch": 0.17,
|
|
"learning_rate": 0.0001666666666666667,
|
|
"loss": 0.4807,
|
|
"step": 50
|
|
},
|
|
{
|
|
"epoch": 0.18,
|
|
"learning_rate": 0.00016333333333333334,
|
|
"loss": 0.3915,
|
|
"step": 55
|
|
},
|
|
{
|
|
"epoch": 0.2,
|
|
"learning_rate": 0.00016,
|
|
"loss": 0.3338,
|
|
"step": 60
|
|
},
|
|
{
|
|
"epoch": 0.22,
|
|
"learning_rate": 0.00015666666666666666,
|
|
"loss": 0.3527,
|
|
"step": 65
|
|
},
|
|
{
|
|
"epoch": 0.23,
|
|
"learning_rate": 0.00015333333333333334,
|
|
"loss": 0.4201,
|
|
"step": 70
|
|
},
|
|
{
|
|
"epoch": 0.25,
|
|
"learning_rate": 0.00015000000000000001,
|
|
"loss": 0.3409,
|
|
"step": 75
|
|
},
|
|
{
|
|
"epoch": 0.27,
|
|
"learning_rate": 0.00014666666666666666,
|
|
"loss": 0.292,
|
|
"step": 80
|
|
},
|
|
{
|
|
"epoch": 0.28,
|
|
"learning_rate": 0.00014333333333333334,
|
|
"loss": 0.2662,
|
|
"step": 85
|
|
},
|
|
{
|
|
"epoch": 0.3,
|
|
"learning_rate": 0.00014,
|
|
"loss": 0.1851,
|
|
"step": 90
|
|
},
|
|
{
|
|
"epoch": 0.32,
|
|
"learning_rate": 0.00013666666666666666,
|
|
"loss": 0.2833,
|
|
"step": 95
|
|
},
|
|
{
|
|
"epoch": 0.33,
|
|
"learning_rate": 0.00013333333333333334,
|
|
"loss": 0.2529,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.33,
|
|
"eval_accuracy": 0.7995833333333333,
|
|
"eval_f1": 0.7999781610968004,
|
|
"eval_loss": 0.6368201971054077,
|
|
"eval_precision": 0.8485966025179182,
|
|
"eval_recall": 0.7995833333333333,
|
|
"eval_runtime": 39.9598,
|
|
"eval_samples_per_second": 60.06,
|
|
"eval_steps_per_second": 7.508,
|
|
"step": 100
|
|
},
|
|
{
|
|
"epoch": 0.35,
|
|
"learning_rate": 0.00013000000000000002,
|
|
"loss": 0.1861,
|
|
"step": 105
|
|
},
|
|
{
|
|
"epoch": 0.37,
|
|
"learning_rate": 0.00012666666666666666,
|
|
"loss": 0.2163,
|
|
"step": 110
|
|
},
|
|
{
|
|
"epoch": 0.38,
|
|
"learning_rate": 0.00012333333333333334,
|
|
"loss": 0.2439,
|
|
"step": 115
|
|
},
|
|
{
|
|
"epoch": 0.4,
|
|
"learning_rate": 0.00012,
|
|
"loss": 0.1483,
|
|
"step": 120
|
|
},
|
|
{
|
|
"epoch": 0.42,
|
|
"learning_rate": 0.00011666666666666668,
|
|
"loss": 0.32,
|
|
"step": 125
|
|
},
|
|
{
|
|
"epoch": 0.43,
|
|
"learning_rate": 0.00011333333333333334,
|
|
"loss": 0.1636,
|
|
"step": 130
|
|
},
|
|
{
|
|
"epoch": 0.45,
|
|
"learning_rate": 0.00011000000000000002,
|
|
"loss": 0.3392,
|
|
"step": 135
|
|
},
|
|
{
|
|
"epoch": 0.47,
|
|
"learning_rate": 0.00010666666666666667,
|
|
"loss": 0.1444,
|
|
"step": 140
|
|
},
|
|
{
|
|
"epoch": 0.48,
|
|
"learning_rate": 0.00010333333333333334,
|
|
"loss": 0.1844,
|
|
"step": 145
|
|
},
|
|
{
|
|
"epoch": 0.5,
|
|
"learning_rate": 0.0001,
|
|
"loss": 0.1006,
|
|
"step": 150
|
|
},
|
|
{
|
|
"epoch": 0.52,
|
|
"learning_rate": 9.666666666666667e-05,
|
|
"loss": 0.1532,
|
|
"step": 155
|
|
},
|
|
{
|
|
"epoch": 0.53,
|
|
"learning_rate": 9.333333333333334e-05,
|
|
"loss": 0.141,
|
|
"step": 160
|
|
},
|
|
{
|
|
"epoch": 0.55,
|
|
"learning_rate": 9e-05,
|
|
"loss": 0.1913,
|
|
"step": 165
|
|
},
|
|
{
|
|
"epoch": 0.57,
|
|
"learning_rate": 8.666666666666667e-05,
|
|
"loss": 0.2348,
|
|
"step": 170
|
|
},
|
|
{
|
|
"epoch": 0.58,
|
|
"learning_rate": 8.333333333333334e-05,
|
|
"loss": 0.1853,
|
|
"step": 175
|
|
},
|
|
{
|
|
"epoch": 0.6,
|
|
"learning_rate": 8e-05,
|
|
"loss": 0.0983,
|
|
"step": 180
|
|
},
|
|
{
|
|
"epoch": 0.62,
|
|
"learning_rate": 7.666666666666667e-05,
|
|
"loss": 0.1056,
|
|
"step": 185
|
|
},
|
|
{
|
|
"epoch": 0.63,
|
|
"learning_rate": 7.333333333333333e-05,
|
|
"loss": 0.1294,
|
|
"step": 190
|
|
},
|
|
{
|
|
"epoch": 0.65,
|
|
"learning_rate": 7e-05,
|
|
"loss": 0.2596,
|
|
"step": 195
|
|
},
|
|
{
|
|
"epoch": 0.67,
|
|
"learning_rate": 6.666666666666667e-05,
|
|
"loss": 0.071,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.67,
|
|
"eval_accuracy": 0.8141666666666667,
|
|
"eval_f1": 0.8020156073177751,
|
|
"eval_loss": 0.6456317901611328,
|
|
"eval_precision": 0.8425056502644487,
|
|
"eval_recall": 0.8141666666666667,
|
|
"eval_runtime": 40.4999,
|
|
"eval_samples_per_second": 59.259,
|
|
"eval_steps_per_second": 7.407,
|
|
"step": 200
|
|
},
|
|
{
|
|
"epoch": 0.68,
|
|
"learning_rate": 6.333333333333333e-05,
|
|
"loss": 0.0858,
|
|
"step": 205
|
|
},
|
|
{
|
|
"epoch": 0.7,
|
|
"learning_rate": 6e-05,
|
|
"loss": 0.0706,
|
|
"step": 210
|
|
},
|
|
{
|
|
"epoch": 0.72,
|
|
"learning_rate": 5.666666666666667e-05,
|
|
"loss": 0.0945,
|
|
"step": 215
|
|
},
|
|
{
|
|
"epoch": 0.73,
|
|
"learning_rate": 5.333333333333333e-05,
|
|
"loss": 0.0459,
|
|
"step": 220
|
|
},
|
|
{
|
|
"epoch": 0.75,
|
|
"learning_rate": 5e-05,
|
|
"loss": 0.0624,
|
|
"step": 225
|
|
},
|
|
{
|
|
"epoch": 0.77,
|
|
"learning_rate": 4.666666666666667e-05,
|
|
"loss": 0.0667,
|
|
"step": 230
|
|
},
|
|
{
|
|
"epoch": 0.78,
|
|
"learning_rate": 4.3333333333333334e-05,
|
|
"loss": 0.0549,
|
|
"step": 235
|
|
},
|
|
{
|
|
"epoch": 0.8,
|
|
"learning_rate": 4e-05,
|
|
"loss": 0.0667,
|
|
"step": 240
|
|
},
|
|
{
|
|
"epoch": 0.82,
|
|
"learning_rate": 3.6666666666666666e-05,
|
|
"loss": 0.0426,
|
|
"step": 245
|
|
},
|
|
{
|
|
"epoch": 0.83,
|
|
"learning_rate": 3.3333333333333335e-05,
|
|
"loss": 0.0449,
|
|
"step": 250
|
|
},
|
|
{
|
|
"epoch": 0.85,
|
|
"learning_rate": 3e-05,
|
|
"loss": 0.0464,
|
|
"step": 255
|
|
},
|
|
{
|
|
"epoch": 0.87,
|
|
"learning_rate": 2.6666666666666667e-05,
|
|
"loss": 0.0581,
|
|
"step": 260
|
|
},
|
|
{
|
|
"epoch": 0.88,
|
|
"learning_rate": 2.3333333333333336e-05,
|
|
"loss": 0.0337,
|
|
"step": 265
|
|
},
|
|
{
|
|
"epoch": 0.9,
|
|
"learning_rate": 2e-05,
|
|
"loss": 0.0328,
|
|
"step": 270
|
|
},
|
|
{
|
|
"epoch": 0.92,
|
|
"learning_rate": 1.6666666666666667e-05,
|
|
"loss": 0.0328,
|
|
"step": 275
|
|
},
|
|
{
|
|
"epoch": 0.93,
|
|
"learning_rate": 1.3333333333333333e-05,
|
|
"loss": 0.0746,
|
|
"step": 280
|
|
},
|
|
{
|
|
"epoch": 0.95,
|
|
"learning_rate": 1e-05,
|
|
"loss": 0.053,
|
|
"step": 285
|
|
},
|
|
{
|
|
"epoch": 0.97,
|
|
"learning_rate": 6.666666666666667e-06,
|
|
"loss": 0.0474,
|
|
"step": 290
|
|
},
|
|
{
|
|
"epoch": 0.98,
|
|
"learning_rate": 3.3333333333333333e-06,
|
|
"loss": 0.0475,
|
|
"step": 295
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"learning_rate": 0.0,
|
|
"loss": 0.032,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"eval_accuracy": 0.8133333333333334,
|
|
"eval_f1": 0.8083110647337813,
|
|
"eval_loss": 0.6355786919593811,
|
|
"eval_precision": 0.8451020337181513,
|
|
"eval_recall": 0.8133333333333334,
|
|
"eval_runtime": 40.497,
|
|
"eval_samples_per_second": 59.264,
|
|
"eval_steps_per_second": 7.408,
|
|
"step": 300
|
|
},
|
|
{
|
|
"epoch": 1.0,
|
|
"step": 300,
|
|
"total_flos": 7.43949770489856e+17,
|
|
"train_loss": 0.28289230664571124,
|
|
"train_runtime": 269.4002,
|
|
"train_samples_per_second": 35.635,
|
|
"train_steps_per_second": 1.114
|
|
}
|
|
],
|
|
"logging_steps": 5,
|
|
"max_steps": 300,
|
|
"num_input_tokens_seen": 0,
|
|
"num_train_epochs": 1,
|
|
"save_steps": 100,
|
|
"total_flos": 7.43949770489856e+17,
|
|
"train_batch_size": 32,
|
|
"trial_name": null,
|
|
"trial_params": null
|
|
}
|
|
|