Windows server 2008 core или ubuntu server?
Кроме VMWare/VirtualBox есть щее чудесный xen, но если вируализировать нужно винду, тоя бы без сомнений использовал Hyper-V. Но ставил бы не Server Core, а Hyper-V Server, раз уж на host'е ниикаких задач кроме выполнения guуst'ов не планируется. Тем более что он бесплатен, лицензии понадобятся только для операционок устанавливаемых на guest.
бы это делал на VMware ESXi