Переходить ли с frontend на backend?
Все индивидуально и определяется каждым человеком по собственным ощущениям. Не сказать, чтобы современный бекенд был сильно сложнее современного фронтенда. Он просто другой. Со своими ньюансами.

Должна быть личная химия и интерес.

В итоге надо пробовать и решать для себя. В конце концов, определенный опыт бекенда не будет бесполезным, расширив кругозор и повысив конкуретноспособность на рынке.
а на фронтенде порой сидишь и мучаешься много часов с каким-нибудь кастомным скроллом или какой-то другой херней
Это не "херня". Быстрый, удобный, понятный интерфейс - это серьёзная наука, которую лишь немногие из фронтендщиков сумели постичь.

И на бэкэнде тоже придётся мучиться, только с другими вещами: оптимизацией БД, улучшением производительности, отказоустойчивой кластеризацией.

Грамотный специалист найдёт работу на фронтэнде, бэкэнде, системном программировании, нейросетях, робототехнике... где угодно.