Teoretiska och empiriska bevis tyder på att djupet av neurala nätverk är avgörande för deras framgång. Utbildningen blir dock svårare i takt med att djupet ökar, och utbildning i mycket djupa nätverk är fortfarande ett öppet problem. Här introducerar vi en ny arkitektur som är utformad för att övervinna detta. Våra så kallade motorvägsnät tillåter obehindrat informationsflöde över många lager på informationsvägar. De är inspirerade av de återkommande nätverken för långtidsminnen och använder adaptiva gating-enheter för att reglera informationsflödet. Även med hundratals lager, kan motorvägsnätet tränas direkt genom enkel lutning nedstigning. Detta gör det möjligt att studera extremt djupa och effektiva arkitekturer.
Inspirerad av de återkommande nätverken för kortfristiga minnen antar motorvägsnäten REF identitetsomvandlingar tillsammans med en adaptiv gatingmekanism, vilket möjliggör beräkningsvägar längs vilka information kan flöda över många lager utan att försvagas.
Training Very Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}