С какими ограничениями я могу столкнуться, если буду писать на чистом Keras?
Кастомизировать можно довольно много, можно смело пользоваться. На каком-то этапе, возможно, самому захочется большей гибкости, и тогда придется или дописывать куски на tf, или уходить на pytorch.
На Keras вам будет недоступно обучение с подкреплением. 
Но лучше всё-таки начать с Keras - понять основы, набить пару шишек. И когда придёт осознание того, что вам нужно либо остаться на Keras, либо уйти в pytorch ... либо всё бросить.