Чем осуществить парсер/граббер защищенного сайта?
Каждый день люди заходят на тостер и скидывают в ответах парсеры на миллионы страниц, да такие чтоб не банило.
Спарсить миллион страниц с сайта который ОЧЕНЬ не хочет этого это довольно таки сложная работа.
Либо не сложная, но долгая и/или дорогая.
Зачастую даже на этом можно построить бизнес, если вдруг сумеешь спарсить хоть что-то полезное и не забаниться.
Пока вы не понимаете адекватно сложность и объем этой работы и/или не можете её сделать - не стоит за это браться.
Короче используйте то что есть или платите деньги тем кто это умеет лучше.
Это не пара строк кода на тостере ответить.
Решение было найдено в использовании PhantomJS, однако загрузка страницы можно достигать 1-2 сек, это довольно долго, с учетом того, что нужно сохранять миллионы страниц.Решение верное.
2секунды это долго, но если бот работает 24часа в сутки, то за сутки это 40тыс. страниц.
Соответственно 100ботов за сутки сделают 4млн страниц.