Detta papper föreslår en ny optimeringsalgoritm som kallas Entropy-SGD för att träna djupa neurala nätverk som motiveras av den lokala geometrin i energilandskapet. Lokal extrema med lågt generaliseringsfel har en stor andel av nästan noll eigenvärden i hessianen med mycket få positiva eller negativa eigenvärden. Vi utnyttjar denna observation för att bygga en lokal-entropi-baserad objektiv funktion som gynnar väl generaliserade lösningar som ligger i stora platta regioner av energilandskapet, samtidigt som man undviker dåligt generella lösningar som ligger i de skarpa dalarna. Konceptuellt liknar vår algoritm två inbäddade slingor av SGD där vi använder Langevin dynamik i den inre slingan för att beräkna lutningen av den lokala entropin innan varje uppdatering av vikterna. Vi visar att det nya målet har ett smidigare energilandskap och visar en förbättrad generalisering över SGD med hjälp av enhetlig stabilitet, enligt vissa antaganden. Våra experiment på konvolutionella och återkommande neurala nätverk visar att Entropy-SGD bäst jämför med state-of-the-art tekniker i termer av generalisering fel och utbildningstid.
Nyligen föreslog REF Entropy-SGD, en variant av SGD som lägger till en lokal stark konvexitetsterm till den objektiva funktionen för att förbättra generaliseringen.
Entropy-SGD: Biasing Gradient Descent Into Wide Valleys
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}