Возможно ли тестирование сайта в автоматическом режиме?
Да, возможно. Именно для этого и был придуман Selenium.
Если не нужно тестировать кросс- браузерно, а достаточно одного хрома, то лучше puppeteer ничего нет. Это родной проект Гугла, так что по эффективности и простоте работы с хромом ни один selenium или что-то ещё и рядом не стоят. Плюс отлично дружит с typescript, что в наше время немаловажно. В качестве тест - раннера рекомендую jest, там всё есть "из коробки", плюс опять же typescript и отлично прикручивается к puppeteer, есть специальные библиотеки. Дальше Jenkins или что-то другое - значения не имеет, вопрос привычки.