| ## Setup Notes | |
| For this model, a VM with 2 T4 GPUs was used. | |
| Note 1. Output directory was initially lora-alpaca and then contents were moved to new folder when initializing git repository. | |
| ## Log | |
| (sqltest) chrisdono@deep-learning-duo-t4-3:~/alpaca-lora$ WORLD_SIZE=2 CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node=2 --master_port=1234 finetune.py --base_model 'decapoda-research/llama-7b-hf' --data_path 'spider' --output_dir './lora-alpaca' --num_epochs 10 --batch_size 32 --micro_batch_size 16 --learning_rate '9e-5' --add_eos_token | |
| Adding last loss values not included in trainer json file from last checkpoint. | |
| {'loss': 0.241, 'learning_rate': 1.0040816326530613e-05, 'epoch': 8.98} | |
| {'loss': 0.2343, 'learning_rate': 9.42857142857143e-06, 'epoch': 9.04} | |
| {'loss': 0.2376, 'learning_rate': 8.816326530612245e-06, 'epoch': 9.11} | |
| {'loss': 0.2355, 'learning_rate': 8.204081632653062e-06, 'epoch': 9.17} | |
| {'loss': 0.229, 'learning_rate': 7.591836734693877e-06, 'epoch': 9.24} | |
| {'loss': 0.2325, 'learning_rate': 6.979591836734694e-06, 'epoch': 9.3} | |
| {'loss': 0.24, 'learning_rate': 6.367346938775511e-06, 'epoch': 9.36} | |
| {'loss': 0.2438, 'learning_rate': 5.755102040816327e-06, 'epoch': 9.43} | |
| {'loss': 0.2391, 'learning_rate': 5.142857142857143e-06, 'epoch': 9.49} | |
| {'loss': 0.2351, 'learning_rate': 4.530612244897959e-06, 'epoch': 9.55} | |
| {'loss': 0.2289, 'learning_rate': 3.9183673469387755e-06, 'epoch': 9.62} | |
| {'loss': 0.2294, 'learning_rate': 3.3061224489795924e-06, 'epoch': 9.68} | |
| {'loss': 0.2344, 'learning_rate': 2.693877551020408e-06, 'epoch': 9.75} | |
| {'loss': 0.2358, 'learning_rate': 2.0816326530612247e-06, 'epoch': 9.81} | |
| {'loss': 0.2365, 'learning_rate': 1.469387755102041e-06, 'epoch': 9.87} | |
| {'loss': 0.2309, 'learning_rate': 8.571428571428572e-07, 'epoch': 9.94} | |
| {'loss': 0.2438, 'learning_rate': 2.4489795918367347e-07, 'epoch': 10.0} | |
| 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1570 | |
| {'train_runtime': 17144.6766, 'train_samples_per_second': 2.916, 'train_steps_per_second': 0.092, 'train_loss': 0.41175747267000234, 'epoch': 10.0} | |
| 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1570 | |
| 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1570 | |
| /1570 [4:45:44<00:00, 10.92s/it] | |