Возможно, стоит отметить, что вместо частных производных можно работать с производными как с линейными преобразованиями, которыми они на самом деле являются, а также рассматривать сети более структурированным образом, таким образом, проясняя, как основные идеи BPP применяются к гораздо более общим случаям. Включается несколько шагов. 1.- Более общие блоки обработки. Подойдет любая непрерывно дифференцируемая функция входов и весов; эти входы и веса могут принадлежать, помимо евклидовых пространств, любому гильбертову пространству. Производные являются линейными преобразованиями, а производная нейронного блока обработки является прямой суммой его частных производных по входам и по весам; это линейное преобразование, выраженное как сумма его ограничений на пару дополнительных подпространств. 2.- Более общие слои (любое количество блоков). Слои отдельных блоков могут создать узкое место, которое делает всю сеть бесполезной. Объединение нескольких блоков в один слой эквивалентно взятию их произведения (как функций, в смысле теории множеств). Слои являются функциями входов и весов совокупности единиц. Производная слоя тогда является произведением производных единиц; это произведение линейных преобразований. 3.- Сети с любым количеством слоев. Сеть является композицией (как функций и в теоретико-множественном смысле) своих слоев. По правилу цепочки производная сети является композицией производных слоев; это композиция линейных преобразований. 4.- Квадратичная ошибка функции. ...——- Поскольку этот комментарий становится слишком длинным, я остановлюсь здесь. Дело в том, что очень общая точка зрения проясняет многие аспекты BPP. Если вам интересна полная история и вы немного знакомы с гильбертовыми пространствами, пожалуйста, поищите в Google статьи, посвященные обратному распространению в гильбертовых пространствах. Также доступна связанная статья с матричными формулами для обратного распространения в полулинейных сетях. Чтобы взглянуть на совершенно новый алгоритм глубокого обучения, который на несколько порядков эффективнее, управляемее и быстрее, чем BPP, найдите на этой платформе видео о глубоком обучении без обратного распространения; в его описании есть ссылки на демонстрационное программное обеспечение. Новый алгоритм основан на следующем очень общем и мощном результате (погуглите его): многогранники и персептроны функционально эквивалентны. Для элементарной концептуальной основы NN см. статью Neural Network Formalism. Daniel Crespin####[]