Utbildning riktade neurala nätverk kräver vanligtvis framåtförstärkande data genom en beräkningskurva, följt av bakåtförstärkande felsignal, för att producera viktuppdateringar. Alla skikt, eller mer allmänt, moduler, i nätverket är därför låsta, i den meningen att de måste vänta på resten av nätverket för att köra framåt och propagera fel bakåt innan de kan uppdateras. I detta arbete bryter vi denna begränsning genom att frikoppla moduler genom att införa en modell för den framtida beräkningen av nätverksgrafen. Dessa modeller förutsäger vad resultatet av den modellerade subgrafen kommer att producera med hjälp av endast lokal information. I synnerhet fokuserar vi på modellering av felgradienter: genom att använda den modellerade syntetiska gradienten i stället för verkliga backpropagated felgradienter frikopplar vi delgrafer, och kan uppdatera dem självständigt och asynkront d.v.s.. Vi inser avkopplade neurala gränssnitt. Vi visar resultat för feed-forward-modeller, där varje lager tränas asynkront, återkommande neurala nätverk (RNNs) där förutsägelsen om ens framtida gradient förlänger den tid som RNN effektivt kan modellera, och även ett hierarkiskt RNN-system med tickande vid olika tidsskalor. Slutligen visar vi att förutom att förutsäga lutningar, kan samma ram användas för att förutsäga ingångar, vilket resulterar i modeller som frikopplas i både framåt och bakåt pass -som motsvarar oberoende nätverk som tillsammans lär sig så att de kan komponeras till ett enda fungerande företag.
Jaderberg m.fl. I REF föreslogs frikopplade neurala gränssnitt, där nätverket lär sig att förutsäga inkommande lutningar från framtiden.
Decoupled Neural Interfaces using Synthetic Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}