Detta arbete utforskar hypernätverk: en metod för att använda ett nätverk, även känt som ett hypernätverk, för att generera vikter för ett annat nätverk. Hypernätverk ger en abstraktion som liknar vad som finns i naturen: förhållandet mellan en genotyp - hypernätverket - och en fenotyp - huvudnätverket. Även om de också påminner om HyperNEAT i evolutionen, våra hypernätverk är utbildade end-to-end med bakåtpropagation och därmed oftast snabbare. Fokus för detta arbete är att göra hypernätverk användbara för djupa konvolutionsnätverk och långa återkommande nätverk, där hypernätverk kan ses som avslappnad form av viktdelning över lager. Vårt huvudsakliga resultat är att hypernätverk kan generera icke-delade vikter för LSTM och uppnå nära state-of-the-art resultat på en mängd olika sekvensmodellering uppgifter inklusive tecken-nivå språkmodellering, handstilsgenerering och neural maskinöversättning, utmana viktdelning paradigm för återkommande nätverk. Våra resultat visar också att hypernätverk som tillämpas på konvolutionsnätverk fortfarande uppnår respektabla resultat för bildigenkänningsuppgifter jämfört med toppmoderna baslinjemodeller samtidigt som de kräver färre inlärbara parametrar. * Arbete som medlem i Google Brain Residency-programmet (t.ex.co/brainresidency).
Hypernetwork REF-metoden använder ett nätverk för att lära sig vikterna i ett annat nätverk.
HyperNetworks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}