Djupa neurala nätverk har möjliggjort framsteg i en mängd olika tillämpningar. Att öka storleken på det neurala nätverket resulterar vanligtvis i förbättrad noggrannhet. I takt med att modellstorlekarna växer ökar även kraven på minne och beräkning för träning. Vi introducerar en teknik för att träna djupa neurala nätverk med hjälp av halvprecision flyttalstal. I vår teknik lagras vikter, aktiveringar och gradienter i IEEE halvprecisionsformat. Halvprecisionsflytande tal har ett begränsat numeriskt intervall jämfört med enkelprecisionstal. Vi föreslår två tekniker för att hantera denna förlust av information. För det första rekommenderar vi att man behåller en enkelprecisionskopia av vikterna som ackumulerar lutningarna efter varje optimeringssteg. Denna enkelprecisionskopia avrundas till halvprecisionsformat under träningen. För det andra föreslår vi att förlusten skalas upp på lämpligt sätt för att hantera informationsförlusten med halvprecisionsgradienter. Vi visar att detta tillvägagångssätt fungerar för en mängd olika modeller inklusive konvolution neurala nätverk, återkommande neurala nätverk och generativa kontrariska nätverk. Denna teknik fungerar för storskaliga modeller med mer än 100 miljoner parametrar tränade på stora datauppsättningar. Med detta tillvägagångssätt kan vi minska minnesförbrukningen av djupt lärande modeller med nästan 2×. I framtidens processorer kan vi också förvänta oss en betydande beräkningshastighet upp med hjälp av halvprecision hårdvara enheter. * Lika bidrag † Nu på Google Brain eriche@google.com
Precisionsreduktion REF minskar minnesförbrukningen genom att reglera precisionsnivån för beräkningarna.
Mixed Precision Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}