ОС для nat/routing сервера?
FreeBSD+ipfw+kernel_nat?
Sysctl не так уж и сложно конфигурировать с sysctl -d.
Статей море, тем более как рутинг настраивать на бздях.
Если планируете использовать именно «обычные» железки (обычный ПК, а не специальную железку). Выбор очевиден — FreeBSD. И с железом проблем не будет (если не полезете в экзотику) и статей море, в т.ч. на русском.