Phi-4-multimodal-instruct-scorecard

This model is a fine-tuned version of microsoft/Phi-4-multimodal-instruct on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1685

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0002
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 4
• optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.95) and epsilon=1e-07 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 50
• num_epochs: 7

Training results

Training Loss	Epoch	Step	Validation Loss
0.1656	0.0799	20	0.1471
0.1358	0.1598	40	0.1494
0.1476	0.2398	60	0.1589
0.1513	0.3197	80	0.1542
0.1498	0.3996	100	0.1567
0.1422	0.4795	120	0.1645
0.1457	0.5594	140	0.1625
0.1524	0.6394	160	0.1577
0.1471	0.7193	180	0.1539
0.1493	0.7992	200	0.1458
0.1399	0.8791	220	0.1544
0.1422	0.9590	240	0.1653
0.1342	1.0360	260	0.1562
0.1379	1.1159	280	0.1546
0.1435	1.1958	300	0.1437
0.1358	1.2757	320	0.1485
0.1397	1.3556	340	0.1493
0.1358	1.4356	360	0.1553
0.1397	1.5155	380	0.1478
0.1358	1.5954	400	0.1431
0.1324	1.6753	420	0.1428
0.1335	1.7552	440	0.1384
0.1339	1.8352	460	0.1416
0.1301	1.9151	480	0.1551
0.1332	1.9950	500	0.1368
0.1214	2.0719	520	0.1420
0.1291	2.1518	540	0.1371
0.1281	2.2318	560	0.1397
0.1299	2.3117	580	0.1346
0.129	2.3916	600	0.1410
0.1282	2.4715	620	0.1399
0.1331	2.5514	640	0.1354
0.1289	2.6314	660	0.1374
0.1317	2.7113	680	0.1347
0.1283	2.7912	700	0.1373
0.1279	2.8711	720	0.1341
0.1277	2.9510	740	0.1355
0.1235	3.0280	760	0.1421
0.1255	3.1079	780	0.1338
0.1222	3.1878	800	0.1330
0.123	3.2677	820	0.1349
0.1252	3.3477	840	0.1324
0.1236	3.4276	860	0.1336
0.1233	3.5075	880	0.1328
0.1257	3.5874	900	0.1339
0.125	3.6673	920	0.1330
0.1233	3.7473	940	0.1351
0.1244	3.8272	960	0.1323
0.1235	3.9071	980	0.1318
0.1241	3.9870	1000	0.1306
0.1149	4.0639	1020	0.1322
0.1205	4.1439	1040	0.1366
0.119	4.2238	1060	0.1339
0.1182	4.3037	1080	0.1346
0.1195	4.3836	1100	0.1338
0.1196	4.4635	1120	0.1330
0.1186	4.5435	1140	0.1330
0.1174	4.6234	1160	0.1337
0.1167	4.7033	1180	0.1318
0.1228	4.7832	1200	0.1311
0.1183	4.8631	1220	0.1313
0.1202	4.9431	1240	0.1322
0.1106	5.0200	1260	0.1341
0.1125	5.0999	1280	0.1407
0.1137	5.1798	1300	0.1393
0.1107	5.2597	1320	0.1376
0.1087	5.3397	1340	0.1384
0.1092	5.4196	1360	0.1395
0.1086	5.4995	1380	0.1397
0.1088	5.5794	1400	0.1423
0.1088	5.6593	1420	0.1415
0.1069	5.7393	1440	0.1410
0.1091	5.8192	1460	0.1408
0.1096	5.8991	1480	0.1410
0.1066	5.9790	1500	0.1415
0.0936	6.0559	1520	0.1541
0.0881	6.1359	1540	0.1651
0.0895	6.2158	1560	0.1626
0.0891	6.2957	1580	0.1666
0.0869	6.3756	1600	0.1667
0.0892	6.4555	1620	0.1663
0.0863	6.5355	1640	0.1662
0.0865	6.6154	1660	0.1683
0.087	6.6953	1680	0.1686
0.084	6.7752	1700	0.1686
0.087	6.8551	1720	0.1684
0.0849	6.9351	1740	0.1685

Framework versions

• Transformers 4.48.2
• Pytorch 2.6.0+cu124
• Datasets 3.4.1
• Tokenizers 0.21.1