В чем может быть причина очень долгой загрузки symfony3 на вагранте?
Причина - в очень медленном механизме shared folders в Virtual Box. 
Варианты:
Если host на линуксе - использовать NFS.
Если host Windows - то нужно сделать так, чтобы как минимум директории var и vendor были вынесены за пределы shared folders, а ещё лучше чтобы весь код проекта "жил" внутри линукса, а из host-машины доступ к нему получать, например, через samba.
Очень вероятно - кэши и логи в var/. На их синхронизацию уходит куча времени.
Под вагрантом рекомендую отключить автоматическую синхронизацию проекта и делать это из IDE по факту изменения файла.