Как сделать бекап и не уложить сервер?
Я думаю, что это связано с тем, что выполняется сжатие методом LZMA, которое имеет отличные характеристики сжатия, но сильно нагружает систему (особенно для плохо сжимаемых типов данных как JPG). Имеет смысл попробовать  LZO, фокусирущийся на скорости сжатия, а не на качестве сжатия.--compression lzo
Можно также попробовать поиграться с параметрами --cache-size, --threads.
Однако стоит пробовать сначала применять их по отдельности, иначе не будет ясно какой параметр влияет, а какой - нет.
Кстати, для JPG можно ещё поэкспериментировать с упаковщиком lepton (сжатие/расжатие без потерь).
В целом, подобрать оптимальный способ сжатия можно исходя из природы данных.
Ну и, наконец, самое напрашивающееся решение: использование выделенного вычислительного ресурса только для целей резервирования данных. Само собой, у него должен быть прямой доступ к данным.Добавлено
В качестве решения инкрементальных резервных копий имеетсяzbackup-tarzbackup-tar is a very relaxed incremental tarring tool. Very relaxed means that the cost of tarring a file we don't need is very low (since it will be deduplicated) so we can tar files we don't strictly need, so long as we never miss tarring a file we do need.
Посмотрите на nice и ionice
эти утилиты позволяют понизить приоритет использования цпу и дисковой подсистемы процессу во время запуска или уже после того как он был запущенн.