Настроить VPS с помощью SSH, как?
Но вот незадача, для доступа к VPS дается только SSH и FTP, никакого удаленного рабочего стола, а значит и GUI, не будет
Это лишний ресурс жрет на сервер за ваши деньги - поэтому.
Инструкций в интернете как настроить нужный вам софт из командной строки на порядки больше, чем как настроить его же из GUI.
В OpenVZ есть ограничения на внесение изменений на уровне ядра системы, т.е. если нужно будет что-то (что касается работы системы) добавить, то не сможете. Для учебы лучше KVM взять.