Как редактировать сайт на VPS с серверной операционной системой?
На проде ничего править нельзя. Править надо локальную копию, тестировать, коммитить изменения в git-репозиторий, пушить на GitHub, а на прод вытягивать с GitHub'а.
Хотя Сергей Горностаев уже предложил самый разумный ответ, просто замечу, что в последней версии VSCode есть удаленное редактирование через ssh
А кроме того есть CLI редакторы вроде vim