Как запарсить все страницы сайта?
Допустим вы не знаете ничего про парсинг и программирование. У вас есть site.site как вы планируете узнать что у него есть страница site.site/siter?

Самое простое рекурсивный поиск url по страницам с ограничением вложенности. Открваете site.site, находите там все href="([^"]+)" потом открваете все найденные и ищите там. Не эффективно, но работает.
как правило если сайт следит за своим сео, то у него будет в открытом доступе site.site/sitemap.xml или sitemap.html.
Название может быть и другим, оно также может указываться в файле robots.txt.
Находите этот файл, разбираете его на ссылки и вот вам все ссылки с сайта.