Как ограничить количество подключений к порту в linux?
iptables -I INPUT -p tcp --syn --dport 80 -m connlimit --connlimit-above 10 -j DROP
Если для UDP это не прокатит, придется делать непосредственно через модуль conntrack
Проще это будет сделать средствами сервиса.
Для TCP - сервиса можно поискать решение с IPTABLES или с использованием xinetd. Второе даже проще:service test
{
    instances = 10 # ограничение в 10 штук
    sock_type =     stream
    protocol =      tcp
    wait =          no
    user =          root
    server =        /home/me/bin/testsmpp        
    redirect =      127.0.0.1 8000
}
Для UDP - маловероятно, что что-то получится, так уж устроен UDP