Vi föreslår ett nytt tillvägagångssätt för att minska minnesförbrukningen av backpropagation genom tid (BPTT) algoritm när utbildning återkommande neurala nätverk (RNNs). Vår strategi använder dynamisk programmering för att balansera en avvägning mellan caching av mellanliggande resultat och recomputation. Algoritmen är kapabel till fast montering inom nästan alla användarset minnesbudget samtidigt hitta en optimal genomförandepolicy minimera beräkningskostnaden. Beräkningsenheter har begränsad minneskapacitet och maximerar en beräkningsprestanda med tanke på en fast minnesbudget är ett praktiskt användningsfall. Vi tillhandahåller asymptotiska beräkningar övre gränser för olika regimer. Algoritmen är särskilt effektiv för långa sekvenser. För sekvenser av längd 1000, sparar vår algoritm 95% av minne användning samtidigt som endast en tredjedel mer tid per iteration än standard BPTT.
I REF optimeras detta ytterligare med dynamisk programmering, där en lagringspolicy fastställs som minimerar beräkningskostnaderna för omräkning vid en fast minnesbudget.
Memory-Efficient Backpropagation Through Time
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}