Vi föreslår en guidad avhopp regularizer för djupa nätverk baserat på bevis för en nätverksförutsägelse: avfyrande av neuroner i specifika vägar. I detta arbete, använder vi bevisen vid varje neuron för att bestämma sannolikheten för avhopp, snarare än att släppa ut neuroner jämnt på måfå som i standard avhopp. I huvudsak hoppar vi av med högre sannolikhet de neuroner som bidrar mer till beslutsfattande vid träningstid. Detta tillvägagångssätt straffar höga solida neuroner som är mest relevanta för modellförutsägelse, d.v.s. De som har starkare bevis. Genom att släppa sådana hög-saliens neuroner, är nätverket tvungen att lära sig alternativa vägar för att upprätthålla förlustminimering, vilket resulterar i en plasticitet-liknande beteende, en egenskap hos mänskliga hjärnor också. Vi demonstrerar bättre generaliseringsförmåga, ett ökat utnyttjande av nätverksneuroner och en högre motståndskraft mot nätverkskomprimering med hjälp av flera mätvärden över fyra riktmärken för bild/videoigenkänning.
Zunino m.fl. REF föreslår en guidad avhopp regularizer för djupa nätverk baserat på förklaringen av en nätverksförutsägelse definieras som bränning av neuroner i specifika vägar.
Excitation Dropout: Encouraging Plasticity in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}