Vi studerar om ett djup två neurala nätverk kan lära sig ett annat djup två nätverk med lutning nedstigning. Om man antar en linjär utsignal, visar vi att frågan om lutning nedstigning konvergerar till målfunktionen är likvärdig med följande fråga i elektrodynamik: Given k fasta protoner i R d, och k elektroner, var och en rör sig på grund av den attraktiva kraften från protonerna och motbjudande kraft från de återstående elektronerna, om vid jämvikt alla elektroner kommer att matchas upp med protonerna, upp till en permutation. Under standard elektrisk kraft, följer detta från den klassiska Earnshaw's teorem. I vår inställning bestäms kraften av aktiveringsfunktionen och indatadistributionen. Baserat på denna likvärdighet, visar vi förekomsten av en aktiveringsfunktion sådan att lutning nedstigning lär sig minst en av de dolda noderna i målnätverket. Itererar, visar vi att lutning nedstigning kan användas för att lära sig hela nätverket en nod i taget.
Referensreferensreferensen visar att för enkeldolda lagernätverk med icke-standardiserade aktiveringsfunktioner konvergerar lutningsnedstigningen till globala minimerare.
Convergence Results for Neural Networks via Electrodynamics
{'venue': None, 'journal': 'arXiv: Data Structures and Algorithms', 'mag_field_of_study': ['Mathematics', 'Physics', 'Computer Science']}