Den nya Unbiased Online Recurrent Optimization (UORO) algoritm möjliggör online-inlärning av allmänna återkommande beräkningsgrafer såsom återkommande nätverksmodeller. Det fungerar på ett strömmande sätt och undviker backtracking genom tidigare aktiveringar och ingångar. UORO är en ändring av NoBackTrack [OTC15] som förbigår behovet av modell sparhet och gör genomförandet enkelt i nuvarande djuplärande ramar, även för komplexa modeller. Beräkningsmässigt är UORO lika kostsamt som Trunkerad Backpropagation genom tiden (TBPTT). I motsats till TBPTT, UORO garanteras att ge opartiska gradient uppskattningar, och gynnar inte kortsiktiga beroenden. Nackdelen är extra buller, vilket kräver mindre inlärningsfrekvens. När det gäller syntetiska uppgifter har UORO visat sig komma till rätta med flera brister i TBPTT. Till exempel, när en parameter har en positiv kortsiktig men negativ långsiktig påverkan, TBPTT kan kräva trunkering längder avsevärt större än den inneboende temporal räckvidd interaktioner, medan UORO presterar bra tack vare objektivitet i dess gradienter.
För att rätta till detta presenterade Tallec och Ollivier REF algoritmen Unbiased Online Recurrent Optimization (UORO).
Unbiased Online Recurrent Optimization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}