Как скачивать тяжелые сайты с сервера debian?
Можно с помощью rsync, можно с промежуточным архивированием (tar cz > ssh > tar x). 

Крупные файлы - гораздо меньшая проблема, чем, скажем, сотни тысяч мелких. А поскольку аудио и видео жмутся очень плохо - большой выгоды от архивирования вы в любом случае не получите.
Соответственно командой tar его не запакуешь и не скачаешь по sftp 
В адекватном сайте, медиа контент должен жить в отдельных каталогах, следовательно аудио и видео качаются отдельно, база отдельно, а код сайта пакуется таром и качается тоже отдельно.
Или все вместе по sftp (почему нельзя, неясно, все можно)
или rsync