Teoretiska och empiriska bevis tyder på att djupet av neurala nätverk är avgörande för deras framgång. Utbildningen blir dock svårare i takt med att djupet ökar, och utbildning i mycket djupa nätverk är fortfarande ett öppet problem. Här introducerar vi en ny arkitektur som är utformad för att övervinna detta. Våra så kallade motorvägsnät tillåter obehindrat informationsflöde över många lager på informationsvägar. De är inspirerade av de återkommande nätverken för långtidsminnen och använder adaptiva gating-enheter för att reglera informationsflödet. Även med hundratals lager, kan motorvägsnätet tränas direkt genom enkel lutning nedstigning. Detta gör det möjligt att studera extremt djupa och effektiva arkitekturer.
Motorvägsnätet REF använder grindar för att göra utbildning mycket djupt nätverk möjligt.
Training Very Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}