Уходит сильно большое количество трафика с IP камеры, как устранить?
Надо смотреть не разрешение, а битрейт. Его можно задать адекватно, а можно - не вполне. 
Картинка размером 1 МП (1280х720) с темпом 25 к/с, зажатая кодеком H265+, при средней сложности сцены, весит 832 кбит/с. Данные из калькулятора Hikvision. Считаем - 832*60*60 / 1024 = 2925 мбит/час, делим ещё на 8, получаем 365 мегабайт в час. У тебя разрешение 0.3 МП, то есть, должно быть, примерно в 3 раза меньше. 
Вообще, описание  проблемы странное - нельзя на этой камере такое разрешение задать! Для основного потока минимум 1280х720, а для вторичного максимум 640х480.
H265, кейфреймы пореже.