Видеодрайвер на виртуальной машине
У виртуалбокса есть такая штука как дополнения гостевой системы. Их и нужно установить. После этого потолок разрешения упирается в размер окна с гостевой ОС.
у виртуальной машины своя видеокарта, которая никак не связана с хостовой (для гостя).
Oracle предоставляет свои драйвера для этой виртуальной видюхи.