Under de senaste åren har stora framsteg gjorts inom en rad olika tillämpningsområden tack vare utvecklingen av allt djupare neurala nätverk. Tyvärr gör det enorma antalet enheter i dessa nätverk dem dyra både beräkningsmässigt och minnesmässigt. För att övervinna detta, utnyttja det faktum att djupa nätverk överparametriseras, flera komprimeringsstrategier har föreslagits. Dessa metoder, dock, vanligtvis startar från ett nätverk som har utbildats på ett standard sätt, utan att överväga en sådan framtida kompression. I detta dokument föreslår vi att man uttryckligen tar hänsyn till kompressionen i utbildningsprocessen. Därför introducerar vi en regularizer som uppmuntrar parametermatrisen för varje lager att ha låg rang under träningen. Vi visar att redovisning för komprimering under utbildningen gör att vi kan lära oss mycket mer kompakta, men minst lika effektiva, modeller än toppmoderna komprimeringstekniker.
Alvarez m.fl. REF-reglerad parametermatris till låg rankning under utbildningen, så att den lätt kan brytas ned i efterbehandlingsstadiet.
Compression-aware Training of Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}