Viktinitieringen och aktiveringsfunktionen hos djupa neurala nätverk har en avgörande inverkan på prestationen av träningsproceduren. Ett olämpligt urval kan leda till förlust av information om indata under förökning framåt och exponentiellt försvinnande/explodering av gradienter under bakförökning. Att förstå de teoretiska egenskaperna hos otränade slumpmässiga nätverk är nyckeln till att identifiera vilka djupa nätverk som kan utbildas framgångsrikt, vilket nyligen demonstrerats av Schoenholz et al. [2017] som visade att för djup feedforward neurala nätverk endast ett specifikt val av hyperparametrar som kallas "Edge of Chaos" kan leda till bra prestanda. Medan arbetet av Schoenholz et al. [2017] diskutera utbildningsfrågor, vi fokuserar här på utbildning acceleration och övergripande prestanda. Vi ger en omfattande teoretisk analys av Kanten av kaos och visar att vi verkligen kan justera initieringsparametrarna och aktiveringsfunktionen för att påskynda träningen och förbättra prestandan. - Vad är det för fel på dig?
Eftersom aktiveringsfunktioner har stor inverkan på prestandan hos djupa neurala nätverk (DNNs), studera och föreslå nya aktiveringsfunktioner är ett intressant ämne REF.
On the Impact of the Activation Function on Deep Neural Networks Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}