Настройка iptables на ubuntu server
Так поставте nginx как прокси перед Apache, раз вам апач нужен. Гораздо легче станет
Fail2ban настройте, чтобы он банил тех, кто слишком часто дергает апач. 
Ну и чуть посложнее в настройке, зато эффективнее как баномет — denyhosts.