Как парсить сайт, который загружается по мере необходимости?
Нужно открыть dev tools , и посмотреть какой  ajax запрос шлется для получения новостей. Вот этот запрос и нужно отправлять. и не надо спешить использовать  тяжеловесов типа selenium ! :) 
Находите последний в списке элемент (ноду): element и скролите к нему или чуть ниже (прибавив дополнительно к 'top' константу).function scrollIt(element) {
  window.scrollTo({
    'behavior': 'smooth',
    'left': 0,
    'top': element.offsetTop
  });
}(в любом случае - обработка на JS)