Как защитить домашний Сервер от DDoS атак?
Смотря какие атаки.
Существует два типа атак - атаки на приложение, и атаки на канал.

Если идет атака на приложение- все можно решить самостоятельно настройкой софта или апгрейдом железа
Если идет атака на канал - тут уже ничем сам не поможешь. Только внешняя защита.


Единственное решение при атаке на канал покупать внешнюю защиту, чтобы ваш адрес нигде не фигурировал и злоумышленники его не знали. 
Организации которые предоставляют внешнюю защиту имеют очень широкие каналы, и для них плюс минус 10 Гигабит погоды не сделает.
В этом случае весь трафик атаки идет на IP адрес защиты, а оттуда уже отфильтрованный к вам.

И тут совсем нет разницы домашний у вас сервер, или он в датацентре стоит.
Вы можете использовать сервисы типа  Cloudflare для маскировки вашего домашнего сервера.