I detta arbete presenterar vi In-Place Aktiverad Batch Normalization (INPLACE-ABN) -en ny metod för att drastiskt minska utbildningsminnet fotavtryck av moderna djupa neurala nätverk på ett beräkningseffektivt sätt. Vår lösning ersätter den konventionellt använda successionen av BatchNorm + Aktivering lager med en enda plugin lager, därmed undvika invasiva ramkirurgi samtidigt ge enkel tillämplighet för befintliga djupinlärning ramar. Vi får minnesbesparingar på upp till 50% genom att släppa mellanliggande resultat och genom att återvinna nödvändig information under den bakåtgående passera genom inversion av lagrade framåt resultat, med endast mindre ökning (0,8-2 %) i beräkningstiden. Dessutom visar vi hur ofta använda checkpointing metoder kan göras beräkningsmässigt lika effektiva som INPLACE-ABN. I våra experiment om bildklassificering demonstrerar vi on-par resultat på ImageNet-1k med toppmoderna metoder. På den minneskrävande uppgiften att semantiska segmentering, rapporterar vi resultat för COCO-Stuff, Cityscapes och Mapilley Vistas, få nya state-of-the-art resultat på den senare utan ytterligare utbildningsdata men i en skala och - modell scenario. Kod finns på https:// github.com/mapilley/inplace_abn.
I REF, en på plats aktiverad batch normalisering (INPLACE-ABN) har föreslagits för att minska utbildningsminnet så att batch storlek kan ökas och statistik från batch normalisering kan vara mer exakt.
In-Place Activated BatchNorm for Memory-Optimized Training of DNNs
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}