Как поймать источник сотен тысяч исходящих соединений, направленных на шлюз и на внешние адреса интернета?
Искать другого виновника. Очень похоже что не там ищете. 
UDP легко подделать и отправить с битым\чужим src-ip
Искать нужно по MAC, сегментам сети, портам на свичах и нагрузкам на сетевых картах исходных ПК.
У нас настроен mac binding, всё что не в списке ваще никуда ничего слать не может по идее. Или это тоже легко обойти?