Какие есть протоколы или системы помимо RDP и VNC?
Citrix получше передаёт видео.
Сколько же у Вас ресурсов на этом сервер, что бы еще и видео с youtube смотреть). Бывают же извращенные задачи.

Можно попробовать использовать remoteFX в RDP.