Как ограничить канал для пользователя?
Вопрос - если какой нибудь прокси между сервером и клиентами, к примеру простой squid без проблем будет резать трафик, можно поставить pfsense, в настройках прост и есть web морда.
Настройка pfsense
https://habrahabr.ru/post/257787/
Настройка squid
https://habrahabr.ru/post/119611/
Можно и без прокси, средствами iptables на сервере
www.k-max.name/linux/iptables-v-primerax
www.linuxcenter.ru/lib/articles/networking/qos_lin...
P.S. И на чем сервер и какова его роль? Что стоит, то на нем?
Если это трафик не HTTP\HTTPS, то устанавливайте в разрыв маршрутизатор и на нём делайте QoS (можно в режиме бриджа). Реализуемо на mikrotik, Kerio, pFsense и на велосипедах. 
Иначе используйте прокси.