Vi introducerar tekniker för att snabbt överföra informationen lagrad i ett neuralt nät till ett annat neuralt nät. Huvudsyftet är att påskynda träningen av ett betydligt större neuralt nät. Under verkliga arbetsflöden tränar man ofta väldigt många olika neurala nätverk under experiment- och designprocessen. Detta är en slösaktig process där varje ny modell tränas från grunden. Vår Net2Net-teknik påskyndar experimentprocessen genom att omedelbart överföra kunskapen från ett tidigare nätverk till varje nytt djupare eller bredare nätverk. Våra tekniker är baserade på begreppet funktionsbevarande transformationer mellan neurala nätverksspecifikationer. Detta skiljer sig från tidigare tillvägagångssätt till förträning som förändrade funktionen som representeras av ett neuralt nät när lägga lager till det. Med hjälp av vår kunskapsöverföringsmekanism för att lägga till djup till Inception-moduler visar vi ett nytt toppmodernt precisionsbetyg på ImageNet-datasetet.
Chen och Al. REF introducerade en metod som kan överföra vikterna av ett neuralt nätverk till ett annat neuralt nätverk, som kan påskynda utbildningen av det nya neurala nätverket.
Net2Net: Accelerating Learning via Knowledge Transfer
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}