Как написать парсер всех файлов на сайте?
Загрузить у сайта Sitemap и пройтись по нему скачивая всё.
Хотите действительно разобраться? Никак, это невозможно. Современные сервера имеют защиту, а также роутер. Иными словами, вы можете скачать только то, что вам разрешит скачать сервер.

А как же кеш? А вот кеш скачать вполне реально, но нужно обойти защиту.