Как можно сделать систему фильтрации интернет-траффика?
centos вполне неплох будет, настраиваем интерфейсы, затем:
squid + dhcp + маршруты статические же у вас? если динамика то ещё quagga например.
squid - прокси сервер для фильтрации трафика 
yum install squid
гайдов по настройке в интернете много
chkconfig squid on - не забудьте добавить в автозагрузку
dhcp server - тут всё просто yum install dhcp и настроить /etc/dhcp/dhcpd.conf (как настроить - в интернете также много гайдов)
/etc/init.d/dhcpd start - запускаете демон
chkconfig dhcpd on - автозагрузка
RouterOS
Как вариант использовать такую штуку. Кушать много не просит, работает по принципу настроил и забыл, ставится на x86 архитектуру и имеет весь необходимый сетевой функционал.