Många djupa neurala nätverk tränas på naturliga bilder uppvisar ett märkligt fenomen gemensamt: på det första lagret de lär sig funktioner som liknar Gabor filter och färg blobs. Sådana första lager funktioner verkar inte vara specifika för en viss datauppsättning eller uppgift, men allmänt i det att de är tillämpliga på många datauppsättningar och uppgifter. Funktionerna måste så småningom övergå från allmän till specifik av det sista skiktet av nätverket, men denna övergång har inte studerats i stor utsträckning. I detta papper kvantifierar vi experimentellt generalitet kontra specificitet av neuroner i varje lager av ett djupt konvolutionellt neuralt nätverk och rapporterar några överraskande resultat. Överförbarheten påverkas negativt av två olika problem: (1) specialiseringen av högre lagerneuroner till deras ursprungliga uppgift på bekostnad av prestanda på måluppgiften, vilket förväntades, och (2) optimering svårigheter relaterade till delning av nätverk mellan co-anpassade neuroner, som inte förväntades. I ett exempel nätverk tränas på ImageNet, visar vi att någon av dessa två frågor kan dominera, beroende på om funktioner överförs från botten, mitten eller toppen av nätverket. Vi dokumenterar också att överförbarheten av funktioner minskar när avståndet mellan basuppgiften och måluppgiften ökar, men att överföra funktioner även från avlägsna uppgifter kan vara bättre än att använda slumpmässiga funktioner. Ett sista överraskande resultat är att initiering av ett nätverk med överförda funktioner från nästan alla lager kan ge en boost till generalisering som dröjer även efter finjustering till målet dataset.
Sådana modeller lär sig mycket allmänt (t.ex. Gabor filter, kanter, färg blobs) till uppgiftsspecifika funktioner som vi flyttar från första lager till sista lager REF.
How transferable are features in deep neural networks?
{'venue': 'Advances in Neural Information Processing Systems 27, pages 3320-3328. Dec. 2014', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}