Существует ли стабильный vncserver для Linux?
Используйте отдельную сессию для VNC, а не подключайтесь к физическому монитору, и все будет работать быстро.
Если стоит задача удалённого графикой подключаться к линуксу я бы посоветовал посмотреть на NoMachine.  Это гораздо лучше любого vnc , даже в бесплатном варианте.