Как правильно обновить vmware. сначала esxi потом vsphere или наоборот?
ESXi это и есть vSphere, а точнее один из компонентов — VMware vSphere Hypervisor (ESXi). Предположу, что вы имели ввиду VMware vCenter Server.
При обновлении смотрите таблицу совместимости и следите за тем, чтобы версии всех используемых компонентов были совместимы между собой. В вашем случае сначала обновляете vCenter не выше версии 6.0.0 U2 (последняя с поддержкой ESXi 5.0), затем подтягиваете версии ESXi. Потом повторяете процесс до нужной вам версии. А ещё версия 5.0 вышла в 2011 году и если сервер с ней такой же старый, то перед обновлением рекомендую проверить совместимость железа.
Сначала vCenter. Потому что старый гипер свяжется с новой сферой, а вот новый гипер со старой сферой - ну никак.