Sammanfattning av denna webbsida: I detta papper etablerar vi en koppling mellan icke-konvexa optimeringsmetoder för att träna djupa neurala nätverk och icke-linjära partiella differentialekvationer (PDE). Avslappning tekniker som uppstår i statistisk fysik som redan har använts framgångsrikt i detta sammanhang omtolkas som lösningar av en viskös Hamilton-Jacobi PDE. Med hjälp av en stokastisk kontroll tolkning kan vi bevisa att den modifierade algoritmen presterar bättre i förväntan att stokastisk lutning nedstigning. Välkända PDE regelbundenhet resultat gör att vi kan analysera geometrin i avslappnad energi landskap, bekräftar empiriska bevis. Den PDE är härledd från en stokastisk homogenisering problem, som uppstår i genomförandet av algoritmen. Algoritmerna skalas väl i praktiken och kan effektivt ta itu med den höga dimensionaliteten i moderna neurala nätverk.
REF undersöker en koppling mellan icke-konvex optimering och viskösa Hamilton-Jacobi partiella differentialekvationer genom att införa en modifierad version av stokastisk lutning nedstigning, Entropy-SGD.
Deep Relaxation: partial differential equations for optimizing deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}