Почему html разный?
Либо Selenium, либо открывать F12 - Network и смотреть какие запросы возвращают нужные значения и повторять их. Хотя скорее всего там не просто xhr будут
Вполне возможно что весь html рендерится с помощью JS,попробуйте selenium и ему подобные.