Det finns gott om teoretiska och empiriska bevis för att djupet av neurala nätverk är en viktig ingrediens för deras framgång. Nätverksutbildning blir dock svårare med ökande djup och utbildning av mycket djupa nätverk är fortfarande ett öppet problem. I detta utvidgade abstrakt, introducerar vi en ny arkitektur utformad för att underlätta gradientbaserad utbildning av mycket djupa nätverk. Vi hänvisar till nätverk med denna arkitektur som motorvägsnät, eftersom de tillåter obehindrat informationsflöde över flera lager på informationsvägar. Arkitekturen kännetecknas av användningen av gating enheter som lär sig att reglera flödet av information genom ett nätverk. Highway nätverk med hundratals lager kan tränas direkt med stokastisk lutning nedstigning och med en mängd olika aktiveringsfunktioner, vilket öppnar upp möjligheten att studera extremt djupa och effektiva arkitekturer.
För att underlätta utbildningen av djupa nätverk, Volume 7, 2019 Srivastava et al. REF föreslog motorvägsnät, som använder en inlärd gating mekanism för att göra informationsflödet över flera skikt.
Highway Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}