Djupt feedfore och återkommande nätverk har uppnått imponerande resultat i många perception och språkbehandlingsapplikationer. Denna framgång beror delvis på arkitektoniska innovationer som konvolutionella och långsiktiga korttidsminnesnätverk. Den främsta motivationen för dessa arkitektoniska innovationer är att de fångar upp bättre domänkunskap, och det viktigaste är att de är lättare att optimera än mer grundläggande arkitekturer. Nyligen har mer komplexa arkitekturer som Neural Turing Machines och Memory Networks föreslagits för uppgifter som svar på frågor och allmän beräkning, vilket skapar en ny uppsättning av optimeringsutmaningar. I detta dokument diskuterar vi en låg-overhead och lätt att genomföra teknik för att lägga lutning buller som vi tycker är förvånansvärt effektiv när du tränar dessa mycket djupa arkitekturer. Tekniken hjälper inte bara till att undvika översittning, utan kan också leda till lägre träningsförlust. Enbart denna metod gör att ett fullt uppkopplat 20-lagers djupt nätverk kan tränas med standard lutning nedstigning, även från en dålig initiering. Vi ser konsekventa förbättringar för många komplexa modeller, inklusive en relativ minskning av felfrekvensen med 72% över en noggrant justerad baslinje på en utmanande frågesvar uppgift, och en dubblering av antalet exakta binära multiplikationsmodeller lärt sig över 7.000 slumpmässiga omstarter. Vi uppmuntrar ytterligare tillämpning av denna teknik på ytterligare komplexa moderna arkitekturer.
Neelakantan, etc. REF konstaterar också att tillägg av buller till lutningar kan bidra till att undvika översittande och resultera i lägre träningsförlust.
Adding Gradient Noise Improves Learning for Very Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}