CNN har gjort en obestridlig inverkan på datorseendet genom förmågan att lära sig modeller med hög kapacitet med stora kommenterade utbildningsset. En av deras anmärkningsvärda egenskaper är förmågan att överföra kunskap från en stor källa dataset till en (vanligtvis mindre) måldataset. Detta sker vanligtvis genom finjustering av ett nätverk med fast storlek på nya måldata. Faktum är att praktiskt taget varje modernt visuellt igenkänningssystem använder finjustering för att överföra kunskap från ImageNet. I detta arbete analyserar vi vilka komponenter och parametrar som förändras under finjusteringen, och upptäcker att ökad modellkapacitet möjliggör mer naturlig modellanpassning genom finjustering. Genom att göra en analogi med utvecklingslärande visar vi att "växande" ett CNN med ytterligare enheter, antingen genom att bredda befintliga skikt eller fördjupa det övergripande nätverket, avsevärt överträffar klassiska finjusterande metoder. Men för att kunna bygga upp ett nätverk på rätt sätt visar vi att nytillkomna enheter måste normaliseras på lämpligt sätt för att möjliggöra en inlärningstakt som överensstämmer med befintliga enheter. Vi validerar empiriskt vår strategi för flera referensdatauppsättningar och producerar toppmoderna resultat.
REF försöker att odla ett CNN med ytterligare enheter, antingen genom att bredda befintliga lager eller fördjupa det övergripande nätverket, och uppnår måttlig framgång jämfört med traditionell finjustering.
Growing a Brain: Fine-Tuning by Increasing Model Capacity
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}