Как сделать infinite scroll в thymeleaf?
Никак. Thymeleaf - это бэкенд, а infinite scroll делается на фронте. Копать в JavaScript'е и AJAX'е.
thymeleaf ни причем.
1) используйте какую-нибудь библиотеку для аякс пагинации (будь-то infinite scroll или load more и др.). 
Например, https://infinite-scroll.com/
https://www.sitepoint.com/jquery-infinite-scrollin...
https://github.com/brianmario/jquery-infinite-scroll
2) далее реализуйте RestController, который выдает контент в json. Задействуйте Pageable для реализации пагинации
3) По достижению области видимости контента отправляйте аякс запрос и инкрементируйте pageable чтобы получить следующую страницу.