Как лучше хранить промежуточные данные парсера? NoSQL или файлы?
вообще неважно куда класть эти данные можно и в реляционную БД mysql, можно и в nosql, главное чтобы данные в базе лежали, где их можно по быстрому найти и извлечь.
А если каждый раз после парсинга страницы делать INSERT в MySQL, не сильно большая нагрузка будет при обработке 2000 страниц?