Подходит ли докер для личного vps с self-hosted-проектами?
Насколько подходит для этого докер?
вполне подходит

Я не представляю, как всё вышеперечисленное можно распихать по контейнерам, чтобы не получилась полная каша
а в чем проблема - то?

- NextCloud - PHP7, FPM
отдельная папка с docker-compose, который стартует контейнеры этого проекта

- YOURLS (сокращатель ссылок) - PHP7, FPM
отдельная папка с docker-compose, который стартует контейнеры этого проекта

и т.д.
...

- Nginx, раскидывающий запросы с поддоменов на весь этот зооапрк, + Certbot для SSL
ну - nginx можно снаружи оставить чтобы запросы в соответствующие контейнеры прокидывать
А что мешает взять Ansible и просто с его помощью разворачивать всю эту инфраструктуру где угодно?