Numera är antalet lager och neuroner i varje lager av ett djupt nätverk vanligtvis inställd manuellt. Även om mycket djupa och breda nätverk har visat sig vara effektiva i allmänhet, kommer de till en hög minnes- och beräkningskostnad, vilket gör dem opraktiska för begränsade plattformar. Dessa nätverk är dock kända för att ha många överflödiga parametrar, och skulle därför i princip kunna ersättas av mer kompakta arkitekturer. I detta dokument introducerar vi en strategi för att automatiskt bestämma antalet neuroner i varje skikt av ett djupt nätverk under lärandet. I detta syfte föreslår vi att man använder en grupps gleshetsreglering på parametrarna i nätverket, där varje grupp definieras för att agera på en enda neuron. Med utgångspunkt från ett överkomplett nätverk visar vi att vårt tillvägagångssätt kan minska antalet parametrar med upp till 80 % samtidigt som man behåller eller till och med förbättrar nätnoggrannheten.
Alvarez och Salzmann REF använde grupp gleshetsreglering för att automatiskt lära sig antalet neuroner under träningen för att få en kompakt modell.
Learning the Number of Neurons in Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}