Vi kombinerar Riemannian geometri med den genomsnittliga fältteorin av högdimensionellt kaos för att studera karaktären av signalutbredning i generiska, djupa neurala nätverk med slumpmässiga vikter. Våra resultat avslöjar en order-till-chaos expressivitet fasövergång, med nätverk i den kaotiska fasen datorisering ickelinjära funktioner vars globala krökning växer exponentiellt med djup men inte bredd. Vi bevisar att denna generiska klass av djupa slumpmässiga funktioner inte effektivt kan beräknas av något grunt nätverk, går utöver tidigare arbete som begränsas till analys av enskilda funktioner. Dessutom formaliserar och demonstrerar vi kvantitativt den långa förmodade tanken att djupa nätverk kan lösgöra mycket böjda grenrör i ingångsutrymme till platta grenrör i dolt utrymme. Vår teoretiska analys av de djupa nätverkens uttryckskraft gäller i stort sett godtyckliga icke-linjäriteter, och ger en kvantitativ grund för tidigare abstrakta föreställningar om de djupa funktionernas geometri.
Verket av REF visar att för nätverk med slumpmässiga vikter, krökning av de funktioner som beräknas av nätverken växer exponentiellt med djup men inte med bredd.
Exponential expressivity in deep neural networks through transient chaos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}