Что такое нейронная сеть, и можно ли ее заменить формулами?
Ну к сожалению в угоду массовой культуре выбрано название, которое никак не отражает ни что это на самом деле ни как это работает. Нейронов там никаких и близко нет, есть логистический классификатор, который якобы работает как "нейрон" (что конечно даже близко не так, он простую формулу считает, работа же нейрона в миллиард раз сложнее), ну и набор таких логистических классификаторов называется нейронной сетью. 
Работу такой сети не только можно заменить формулой, она и есть формула. При обучении мы лишь подбираем коэффициэнты в этой формуле таким образом чтоб она давала, как можно более подходящие для нас результаты.
Ну да, нейроны там это формулы типа такой:
выход_нейрона = [сигмоида от] (вход_1 * вес_1) + (вход_2 * вес_2) + ... + (вход_N * вес_N)
Входами нейрона можно сделать выходы других нейронов, что позволяет сделать формулу очень большой и многослойной. Благодаря алгоритмам обратного распространения ошибки можно быстро подобрать веса, без перебора всех вариантов.
Рекомендую сначала почитать про то что такое искусственный нейрон, а потом уже про нейросети
https://ru.wikipedia.org/wiki/%D0%98%D1%81%D0%BA%D...