Как обработать каждый TCP-пакет в nginx?
Может быть имеет смысл использовать HAProxy вместо nginx? Насколько я понимаю, он больше подходит для этих целей.
nginx не сможет работать с не HTTP-протоколом. Нужно использовать либо средства межсетевого экрана (iptables/netfilter в linux), либо, если нужна балансировка, то другие решения, типа IPVS или HA-proxy.