Какое ПО использовать на debian сервере для моих задач?
Не надо никаких панелей, для фронтенда хватит nginx и node.js. 
Для управления приложениями ноды - pm2.
Для объединения в одну сеть кроме openvpn можно посмотреть сервера для L2TP/IPSec.
LAMP сервер для хостинга учебных проектов
В чем проблема? L у Вас уже есть :) осталось поставить A(pache), M(ysql) и P(HP). Все ставится нативно, пакетами. Webmin - это панель управления сервером вообще, но я крайне не рекомендую заниматься каким-либо панелями вообще, а разобраться, как оно работает.2. Собрать в одну сеть все устройства....Очень хотелось бы не ставить openvpn на всё подряд, а реализовать всё штатными функциями ОС устройств, 
В линухе нет понятия "штатная функция". Openvpn - это "штатная функция", потому что ставится штатным менеджером пакетов. И strongswan - штатная функция. И racoon - тоже наверное штатная :)