С чего начать изучение нейронных сетей на python?
Куча математики - так оно и есть. Машинное обучение по сути это большое количество матриц, векторов, производных и т.п., другими словами это больше математическая дисциплина чем дисциплина области компьютерных наук.Лекции ЯндексаПримеры ski-kit Доки ski-kitДоки pybrainКнига machine learning in pythonКурсы edxКурсы Stanford university те же что и на courseraКурсы udacity
Самая современная библиотека для machine learning от google - 
 tensor flow
Почитай сначала статьи как реализовывать нейронные сети и алгоритмы их обучения, вот например серия статьей на Хабре: https://habrahabr.ru/post/312450/
Только потом реализовывай их программно, рекомендую для этого использовать TensorFlow:
TensorFlow API: https://www.tensorflow.org/api_docs/
Статья на Хабре: https://habrahabr.ru/post/305578/