Какую OS выбрать для NAS?
Ну ubuntu\debian....
TFTP должен поддерживать в первую очередь Ваш роутер...

Из готового посмотрите openMediaVault
В том числе есть виртуалки и докер...
Там же ничего не мешает поднять там же на голом железе некстклауд и перенастроить веб сервер для работы некстклауда и веб интерфейса
Я сам после долгих испытании перешел на виртуализацию (proxmox). До этого пробывал синолоджи, xigmanas и т.д. в итоге кажды сервис держать отдельной виртуальной машиной удобнее мне оказался. Например nextcloud лучше установить начисто и потом его доделать-настроить потихоньку. А для ВН нет лучше чем отдельный видеорегистратор (плата видеорегистратора на алике стоит от 1000 руб, дальше бп12в и HDD и интерес сборки конструктора).
Апач отдельной виртуальной машиной. А для дома (smb, torrent, dlna и т.д.) отдельная виртуальная машина с xigmanas.  И в добавок есть отдельный сервер на селероне с железной xigmanas для резервного копирования важных данных( включаю иногда только чтобы бекапы делать).