Numera är antalet lager och neuroner i varje lager av ett djupt nätverk vanligtvis inställd manuellt. Även om mycket djupa och breda nätverk har visat sig vara effektiva i allmänhet, kommer de till en hög minnes- och beräkningskostnad, vilket gör dem opraktiska för begränsade plattformar. Dessa nätverk är dock kända för att ha många överflödiga parametrar, och skulle därför i princip kunna ersättas av mer kompakta arkitekturer. I detta dokument introducerar vi en strategi för att automatiskt bestämma antalet neuroner i varje skikt av ett djupt nätverk under lärandet. I detta syfte föreslår vi att man använder en grupps gleshetsreglering på parametrarna i nätverket, där varje grupp definieras för att agera på en enda neuron. Med utgångspunkt från ett överkomplett nätverk visar vi att vårt tillvägagångssätt kan minska antalet parametrar med upp till 80 % samtidigt som man behåller eller till och med förbättrar nätnoggrannheten.
Alvarez m.fl. REF introducerar grupplasso i träningsprocessen för att lära sig antalet neuroner i varje lager.
Learning the Number of Neurons in Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}