Djupt lärande är en bred uppsättning tekniker som använder flera lager av representation för att automatiskt lära sig relevanta funktioner direkt från strukturerade data. På senare tid har sådana tekniker gett rekordbra resultat på en mängd svåra maskininlärningsuppgifter i datorseende, taligenkänning och behandling av naturligt språk. Trots den enorma framgången med djupt lärande, är relativt lite förstådd teoretiskt om varför dessa tekniker är så framgångsrika på funktionsinlärning och kompression. Här visar vi att djupt lärande är intimt relaterat till en av de viktigaste och mest framgångsrika teknikerna inom teoretisk fysik, omnormaliseringsgruppen (RG). RG är ett iterativt grovt kornsystem som möjliggör extraktion av relevanta egenskaper (dvs. verksamhetsutövare) granskas som ett fysiskt system med olika längdskalor. Vi konstruerar en exakt kartläggning från den variationella omnormaliseringsgruppen, som först introducerades av Kadanoff, och djupinlärningsarkitekturer baserade på begränsade Boltzmann-maskiner (RBMs). Vi illustrerar dessa idéer med hjälp av närmaste granne Ising Model i en och två dimensioner. Våra resultat tyder på att djupt lärande algoritmer kan använda en generaliserad RG-liknande system för att lära sig relevanta funktioner från data. Ett centralt mål för modern maskininlärning forskning är att lära sig och extrahera viktiga funktioner direkt från data. Bland de mest lovande och framgångsrika teknikerna för att uppnå detta mål är de som är förknippade med den framväxande subdisciplinen av djupt lärande. Djupt lärande använder flera lager av representation för att lära sig beskrivande egenskaper direkt från träningsdata [1, 2] och har framgångsrikt utnyttjats, ofta uppnå rekord bryta resultat, i svåra maskininlärning uppgifter inklusive objektmärkning [3], taligenkänning [4], och behandling av naturligt språk [5]. I detta arbete kommer vi att fokusera på en uppsättning djupt lärande algoritmer som kallas djupa neurala nätverk (DNNs) [6]. DNN är biologiskt inspirerade grafiska statistiska modeller som består av flera lager av "neuroner", med enheter i ett lager som tar emot ingångar från enheter i lagret under dem. Trots deras enorma framgång är det fortfarande oklart vilka fördelar dessa djupa flerskiktsarkitekturer har framför grundare arkitekturer med ett liknande antal parametrar. I synnerhet är det fortfarande inte väl förstått teoretiskt varför DNN är så framgångsrika med att avslöja funktioner i strukturerade data. (Men se [7] [8] [9].) En möjlig förklaring till framgången med DNN:s arkitekturer är att de kan ses som ett iterativt grovkornigt system, där varje nytt högnivåskikt i det neurala nätverket lär sig allt mer abstrakta funktioner på högre nivå från data [1, 10]. De första skikten i DNN kan betraktas som lågnivåfunktionsdetektorer som sedan matas in i högre skikt i DNN som kombinerar dessa lågnivåfunktioner till mer abstrakta funktioner på högre nivå, vilket ger en användbar och ibland reducerad representation av data. Genom att successivt tillämpa funktionsextraktion lär sig DNN att bedöma hur irrelevanta uppgifterna är och samtidigt lära sig relevanta. (Observera att i en övervakad miljö, såsom klassificering, är relevanta och irrelevanta slutligen bestäms av det aktuella problemet. Här handlar vi enbart om den oövervakade aspekten av utbildning DNNs, och användningen av DNNs för kompression [6].) I det följande gör vi denna förklaring exakt. Denna successiva grov-graining förfarande påminner om ett av de mest framgångsrika och viktiga verktygen i teoretisk fysik, omnormaliseringsgruppen (RG) [11, 12]. RG är en iterativ grovkornig procedur utformad för att ta itu med svåra fysikproblem med många längdskalor. Det centrala målet för RG är att extrahera relevanta funktioner i ett fysiskt system för att beskriva fenomen på stora längdskalor genom att integrera (dvs. marginalisera över) korta avstånd grader av frihet. I alla RG sekvens, fluktuationer integreras ut från och med mikroskopisk skala och sedan flyttar iterativt på fluktuationer på större skalor. Enligt detta förfarande blir vissa egenskaper, så kallade relevanta operatörer, allt viktigare, medan andra egenskaper, som kallas irrelevanta operatörer, har en minskande inverkan på systemets fysiska egenskaper i stora skalor. I allmänhet är det omöjligt att genomföra omnormaliseringsförfarandet exakt. Därför har ett antal ungefärliga RG-procedurer utvecklats i den teoretiska fysikgemenskapen [12] [13] [14] [15]. En sådan ungefärlig metod är en klass av variationsbaserade "realrymds"-renormaliseringsprogram som infördes av Kadanoff för att utföra RG på spinnsystem [14, 16, 17 ]. Kadanoffs variationsbaserade RG-system introducerar grovkornig hjälp, eller "dold", snurr som är kopplade till de fysiska spinnsystemen genom några okända kopplingsparametrar. En parameterberoende fri energi beräknas för det grovkorniga spinnsystemet från det kopplade systemet genom att integrera de fysiska snurren. Kopplingsparametrarna väljs genom ett varierat förfarande som minimerar skillnaden mellan de fria energierna i de fysiska och dolda spinnsystemen. Detta säkerställer att det grovkorniga systemet bevarar den långdistansinformation som finns i det fysiska systemet. Utförande av detta
REF visade nyligen en spännande koppling mellan Renormalization Group flow 5 och deep-learning.
1 4 O ct 2 01 4 An exact mapping between the Variational Renormalization Group and Deep Learning