Бан IP адреса средствами nginx ?
Блокировать слишком частые запросы с одного IP можно средставми NGINX wiki.nginx.org/HttpLimitReqModule
А бан IP на заданное время при подозрительном поведении лучше думаю сделать средствами Firewall
Можно написать модуль для nginx на lua.