Как по логам сервера выяснить причину большого объема исходящего трафика?
Ответ на ваш вопрос в первом предложении. Найдите того, кто понимает ;)
Надо проанализировать логи сервера, исследовать измененные файлы, посмотреть список запущенных процессов, проверить контрольные суммы бинарников системы..
rkhunter, мозги и вперед.
Логи веб сервера поглядите, там будет скорей всего всё что вам нужно. Чего и как залили. А залили webshell скорей всего.