Как подключиться к VPS (на CentOS) не через SSH-клиент с консолью, а через что-то более удобное? Вроде удаленного рабочего стола?
Вам нужно идти в сторону VNC, как его установить полно инструкций. 
Только если у вас там нет DO (рабочего стола) то для чего?
P.S. Если вы не знаете как ставить апач и nging то ставьте VestaCP, либо найдите фрилансера.
Открою страшную тайну инвайта - весь гуй в линухе - это всего лишь надстройка над командной строкой.  Поставить гуй можно, конечно:
# yum groupinstall desktop
но смысл? Не знаю как в "дружественных" бубунтах, но в центосе никаких гуевых мастеров нет для настройки вебсервера. 
# yum install httpd - поставит апач
# yum install nginx - поставит nginx, правда сначала надо репу для nginx добавить