Как начать разработку с нейронными сетями на JAVA, какие возможности они открывать?
Лучше на python или любом другом скриптовом языке, большинство хороших библиотек для нейронных сетей работают хорошо на python и С++.
Алгоритмы такие как в Prisma - чистая математика, есть аналог (Ostagram) исходники открытые https://github.com/SergeyMorugin/ostagram там используется реализация алгоритма под авторством Leon A. Gatys, Alexander S. Ecker, Matthias Bethge ( ссылка на математическую теорию arxiv.org/pdf/1508.06576v2.pdf ). Реализация сделана на библиотеке torch под lua https://github.com/jcjohnson/neural-style
Чтобы лучше понять что это такое можете посмотреть любые уроки по нейронным сетям. Там много математики, поэтому любовь к математике обязательна, иначе станет скучно.
Нужно прежде всего хорошо знать математику! Работа с матрицами очень важна. Практическое применение находит во многих областях (об этом у Гугла).