Trunkerad backpropagation genom tiden (trunkerad BPTT, [Jae05] ) är en utbredd metod för att lära återkommande beräkningsdiagram. Trunkerad BPTT håller beräkningsfördelarna av Backpropagation Through Time (BPTT [Wer90]) samtidigt som behovet av ett komplett backtrack genom hela datasekvensen minskas i varje steg. Trunkering gynnar dock kortsiktiga beroenden: lutningsberäkningen av trunkerad BPTT är partisk, så att den inte drar nytta av konvergensgarantierna från stokastisk gradientteori. Vi introducerar Precipated Revikted Trunkated Backpropagation (ARTBP), en algoritm som håller beräkningsfördelarna av trunkerad BPTT, samtidigt som den ger objektivitet. ARTBP fungerar genom att använda variabla trunkeringslängder tillsammans med noggrant utvalda kompensationsfaktorer i bakåtförökningsekvationen. Vi kontrollerar ARTBP:s livsduglighet på två uppgifter. För det första, en enkel syntetisk uppgift där noggrann balansering av tidsberoenden på olika skalor krävs: trunkerad BPTT visar opålitlig prestanda, och i värsta fall scenarier, divergens, medan ARTPP konvergerar tillförlitligt. För det andra, på Penn Treebank tecken-nivå språkmodellering [MSD + 12], ARTBP något överträffar trunkerade BPTT. [Wer90] är den faktiska standarden för utbildning av återkommande neurala nätverk. BPTT har dock brister när det gäller att lära sig från mycket långa sekvenser: att lära sig ett återkommande nätverk med BPTT kräver att nätverket utvecklas genom tiden för så många tidssteg som det finns i sekvensen. För långa sekvenser representerar detta en tung beräknings- och minnesbelastning. Denna brist övervinns ofta heuritiskt, genom att godtyckligt dela upp den ursprungliga sekvensen i undersekvenser, och bara bakåtpropagating på undersekvenserna. Den resulterande algoritmen kallas ofta för Trunkerad Backpropagation Through Time (trunkerad BPTT, se till exempel [Jae05] ). Detta kommer till priset av att förlora långsiktiga beroenden. Vi introducerar Precipated Revikted Trunkated BackPropagation (ARTBP), en variation av trunkated BPTT utformad för att ge en objektiv gradient uppskattning, som står för långsiktiga beroenden. Liksom trunkerad BPTT delar ARTBP upp den inledande träningssekvensen i undersekvenser, och endast 1
REF använder den ryska roulette estimator till debias trunkated backpropagation genom tiden.
Unbiasing Truncated Backpropagation Through Time
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}