Как защититься от DDOS-атаки однотипными запросами к несуществующим файлам?
fail2ban и банить нужно в файрволе, а не в nginx
Вы гуглить вообще пробовали?
Куча инструкций в сети  по запросу "ddos iptables"
Бан по IP:
iptables -I INPUT -s 37.45.11.152 -j DROP

Удаление блокировки:
iptabled -D INPUT -s 37.45.11.152