De senaste åren har sett djupa neurala nätverk (DNN) blir bredare och djupare för att uppnå bättre prestanda i många tillämpningar av AI. Sådana DNN kräver dock enorma mängder minne för att lagra vikter och mellanliggande resultat (t.ex. aktiveringar, funktionskartor osv.) i förökning. Detta krav gör det svårt att köra DNN på enheter med begränsat, svåråtkomligt minne, försämrar körtidens prestanda och begränsar utformningen av nätverksmodeller. Vi tar itu med denna utmaning genom att utveckla en ny profilstyrd minnesoptimering för att effektivt och snabbt fördela minnesblock under spridningen i DNN. Optimeringen använder en enkel och snabb heuristisk algoritm baserad på det tvådimensionella packningsproblemet. Experimentera med välkända neurala nätverksmodeller, bekräftar vi att vår metod inte bara minskar minnesförbrukningen med upp till 49,5% men också påskyndar träning och slutledning med upp till en faktor av fyra tack vare den snabba minnestilldelningen och förmågan att använda större mini-batch storlekar.
REF löser problemet med minnesfördelning som ett specialfall av tvådimensionella strip packningsproblem.
Profile-guided memory optimization for deep neural networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}