Возможно ли в linux системными насторйками ограничить пиковую скорость передачи UDP (per-socket)?
А вот на ноуте с USB сетевой картинка рвалась и обнаружились потери пакетов.
т.е. потери пакетов обнаружились не на сервере, не на коммутаторах, а уже на конечном устройстве.
Ну и решайте проблему с конечным устройством тогда. Сервера и сети не должны решать проблемы индейцев.
стандарт 1000Base-T это вообще говоря не про скорость, а про принцип кодирования и передачи информации по физической среде (4 медные пары). т.е. это больше про совместимость по уровням сигналов. 
Да, используя эту среду теоретически можно передать и получить (одновременно) поток фреймов в 1000Мбит/с. 
Но если у ноута тормозной чипсет и он может передать максимум 150Мбит/с, то все равно в характеристиках его сетевухи будет 10/100/1000. Ведь 150 больше 100, а промежуточных от 100 до 1000 форматов нет.
Когда идет TCP поток, то flow control встроен в протокол и там проблем не возникает
с UDP все хуже. тут flow control обычно выносится дальше на уровень приложения.
В случае мальтикаста вроде таких механизмов из коробки нет. Можно только подписаться на канал с худшим качеством. 
Кстати, ваш IGMP снупинг действительно может не работать или быть неправильно настроен. Или вы правда вливаете в ноут больше 10 потоков по 10 метров?
Настройте шейпер для IPTV трафика.