Можно на Python, можно на java, хоть на js. Мне известны по крайней мере эти три языка, но питон очень прост в изучении. Ролик Mask RCNN можете просто поглядеть для прикола, посмотреть как нейронки могут. Я составил список ПО с которым у меня всё завелось Python 3.6.5 tensorflow-gpu-1.6.0 CUDA 9.1 CUDNN (Не помню версию, на сайте скачаете под CUDA 9.1) IDE Советую PyCharm Попробуйте сделать что-нибудь, что душа пожелает) По TensorFlow есть много обучающих видео
