Как правильно агрегировать коммутаторы?
Предлагаю посмотреть:
1. Как настроена балансировка?
2. Как замерялась скорость?
Эти вопросы связаны, на самом деле: для того, чтобы понять, в какой порт LAG засунуть Ethernet-кадр, коммутатор вычисляет хэш-функцию от выбранных при настройке полей кадра и берёт остаток от деления хэша на количество линков в LAG.
По умолчанию, как правило, хэш считается от Source MAC + Destination MAC.
Также, обычно можно руками включить использование для вычисления хэша:
 - Source ip/Destination ip
 - Source port/Destination port
На практике же это означает, что:
1. Чем больше _разных_ MAC/ip-адресов проходит через LAG, там равномернее распределяется трафик
2. А вот установленное TCP-соединение не "размажется" по линкам и при, например, загрузке файла по FTP скорость всё равно упрётся в скорость одного-единственного линка, будь их там хоть все восемь
Я понимаю что я получаю 400 по скоростям :) 
Нет, etherchannel это в первую очередь технология отказоустойчивости, а не повышения пропускной способности линковНе совсем понимаю как будет работать данная схема если у всех chanell-group 1 mode on
номера групп имеют локальное значение и не обязаны совпадать на разных коммутаторах