Как собирать документы с сайта?
у многих новостных ресурсов есть rss. Можно его запрашивать на nodejs, парсить и складывать в облоко.
Если парсить страницы, то можно воспользоваться https://github.com/GoogleChrome/puppeteer
в rss обычно кладут первые пару строчек статьи, как раз чтобы нельзя было спарсить оттуда полную статью без рекламы :)
Андрей Ермаков посмотри связку node.js, request and cheerio, если через ноду
https://www.digitalocean.com/community/tutorials/h...
https://itnext.io/scraping-with-nodejs-and-cheerio...
request принесет html страницы, с помощью cheerio можно легко разобрать блоки с контентом по css-селекторам
puppeteer и прочие "безголовые браузеры" для такого обычно не нужны