Как запустить программу с графическим интерфейсом на Ubuntu, установленной на VPS?
x2go
на vps-ку сервер, на домашнюю машину - клиент, подключение по ssh, в мире linux да и windows это наиболее отзывчивое приложение удаленного рабочего стола, особенно со слабым сетевым каналом

p.s. можно поставить какое-нибудь DE но не обязательно, можно указать что запускать нужно конкретное приложение (но некоторые кривонаписанные ожидают какое то DE и могут глючить)

p.p.s. вообще то ставить ничего не требуется, если локально у тебя есть xserver (это linux или на windows установить соответствующее приложение, например от cygwin) то достаточно подключиться по ssh с ключом -Y и можно запускать приложение с использованием локального xserver. Этот подход больше потребляет сетевой трафик чем x2go но на linux машинах буквально не требует никакой настройки
установите любой рабочий стол, типа LXDE или XFCE, стартаните VNC сервер и подключайтесь