Можно ли перенести настоящий проц и видюху в виртуальную машину?
Проц пробросить не получится, хостовая ОС монопольно владеет им. Но в современном x86 есть технологии Intel VT и AMD-V (в зависимости от производителя проца), которые позволяют предоставлять прямой доступ к ресурсам процессора в гостевую ОС. Данные технологии доступны в большинстве виртуальных машин с x86 на хосте и x86 в госте. Однако эмулировать так ARM на x86 или наоборот не выйдет, все таки разные архитектуры.

Насчет видюхи и других PCIe устройств. Их можно только полностью передать в гостевую ОС, и они станут недоступны в хостовой ОС (если так же нужно изображение на хосте, то понадобится 2 видяхи, и 2 монитора, ну или VNC/RDP сервер вместо монитора). Еще одно ограничение, что сделать это могут только гипервизоры работающие в пространстве ядра хостовой ОС (VirtualBox работает в пользовательском пространстве, а вот KVM может, так как работает как модуль ядра Linux, Hyper-V (если нужна винда на хосте) тоже вроде может, но я не уверен)
Все взрослые парни считают метрики. Если оно того стоит то переносят на bare metal. Без всякой виртуализации и прочего. 
Все остальное поддается виртуализации с разной степенью извращений. 
Вы бы опубликовали что у вас за сервис.