Сложно ли совершить трансфер между отраслями в IT?
Ну откуда мы знаем сложно ли ТЕБЕ переключиться. 

Душа лежит в computer vision и прочие прекрасные ml вещи, однако порог входа туда крайне высок (много математики + с++, которые я учил только в университете). 
Не очень понятно что такое "лежит душа" - нравятся слова computer vision, ml или нравится считать и заниматься настройкой ml?
Почему не можешь просто сходить на пару собеседований и там уже решить насколько порог высок?

Угадать, что понравится и захочется остаться, а что надоест в первый месяц - очень сложно
Видимо много давали игрушек, а надо было ремня.
Пойди поработай полгода туда, куда сможешь устроиться. Как можно за месяц вообще что-то понять. Я за последние 10 лет, когда менял работу, первые 2-3 месяца только доступы получал к тому, что в проекте есть.

В 24 года можно потратить себе год-два на одно, год-два на другое и это будет еще и не во вред а на пользу.
Тяжело совершить трансфер, если ты специалист.
Совершая трансфер ты девальвируешь свои знания и становишься в один ряд со вчерашними студентами.
Никто не нанимает программистов Java писать на PHP. Не потому, что они не умеют программировать, а потому, что на освоение инструмента нужно время. Много времени. Хотя тут тебя будут уверять в обратном.

Учитывая твой стаж и возраст, можно сказать, что для тебя это пройдет безболезненно.