Vi introducerar den "exponentiella linjära enheten" (ELU) som påskyndar inlärningen i djupa neurala nätverk och leder till högre klassifikationsnoggrannheter. I likhet med rektifierade linjära enheter (ReLU), läckande ReLU (LReLU) och parametriserade ReLU (PReLU) lindrar ELU problemet med försvinnande lutning via identiteten för positiva värden. De europeiska intermodala lastenheterna har dock förbättrat inlärningsegenskaperna jämfört med enheterna med andra aktiveringsfunktioner. I motsats till ReLU har de europeiska intermodala lastenheterna negativa värden som gör det möjligt för dem att driva genomsnittliga enhetsaktiveringar närmare noll som batch normalisering men med lägre beräknings komplexitet. Genomsnittliga förskjutningar mot noll hastighet upp lärande genom att föra den normala lutningen närmare enheten naturlig lutning på grund av en minskad snedförskjutning effekt. Även om LReLU:er och PReLU:er har negativa värden, garanterar de inte ett buller-robust deaktiveringstillstånd. De europeiska intermodala lastenheterna mättar till ett negativt värde med mindre inflöden och minskar därmed den framåtfördelade variationen och informationen. Därför kodar de europeiska intermodala lastenheterna graden av närvaro av särskilda fenomen i inmatningen, samtidigt som de inte kvantitativt modellerar graden av deras frånvaro. I experiment leder de europeiska intermodala lastenheterna inte bara till snabbare lärande, utan också till betydligt bättre generaliseringsprestanda än de lokala lastenheterna och de lokala lastenheterna på nätverk med mer än 5 lager. På CIFAR-100 ELUs nätverk betydligt överträffar ReLU nätverk med batch normalisering medan batch normalisering inte förbättrar ELU nätverk. Elu-nät är bland de 10 topprapporterade resultaten CIFAR-10 och ger det bäst publicerade resultatet på CIFAR-100, utan att använda sig av multi-view-utvärdering eller modellgenomsnitt. På ImageNet påskyndar ELU-nätverken inlärningen betydligt jämfört med ett ReLU-nätverk med samma arkitektur, vilket ger mindre än 10 % klassificeringsfel för en enda gröda, ett enda modellnätverk.
Olika från ReLU, den Exponential Linear Unit (ELU) REF ger negativa värden, samtidigt som man undviker den försvinnande gradient problem på den positiva sidan av domänen.
Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs)
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}