Trots de senaste framstegen i utbildning återkommande neurala nätverk (RNNs), fånga långsiktiga beroenden i sekvenser är fortfarande en grundläggande utmaning. De flesta tillvägagångssätt använder backpropagation genom tiden (BPTT), vilket är svårt att skala till mycket långa sekvenser. I detta dokument föreslås en enkel metod som förbättrar förmågan att fånga långsiktiga beroenden i RNN genom att lägga till en oövervakad extra förlust till det ursprungliga målet. Denna extra förlust tvingar RNN att antingen rekonstruera tidigare händelser eller förutsäga nästa händelser i en sekvens, vilket gör trunkerad backpropagation möjligt för långa sekvenser och även förbättra full BPTT. Vi utvärderar vår metod på en mängd olika inställningar, inklusive pixel-by-pixel bildklassificering med sekvenslängder upp till 16 000, och en verklig dokumentklassificeringsriktmärke. Våra resultat belyser goda resultat och resurseffektivitet i denna strategi jämfört med konkurrenskraftiga baslinjer, inklusive andra återkommande modeller och en jämförbar storlek Transformer. Ytterligare analyser avslöjar positiva effekter av den extra förlusten på optimering och legalisering, liksom extrema fall där det finns lite till ingen backpropagation.
I REF föreslås att man använder trunkerad backpropagation med ytterligare en extra förlust för att rekonstruera tidigare händelser.
Learning Longer-term Dependencies in RNNs with Auxiliary Losses
{'venue': 'ICML 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}