I induktiva överföringslärande, finjusterande förtränade konvolutionella nätverk avsevärt överträffar utbildning från grunden. Vid finjustering är det underliggande antagandet att den pretränade modellen extraherar generiska egenskaper, som åtminstone delvis är relevanta för att lösa måluppgiften, men skulle vara svårt att extrahera från den begränsade mängden data som är tillgänglig för måluppgiften. Men förutom initiering med den förtränade modellen och det tidiga stoppet, finns det ingen mekanism i finjustering för att behålla de funktioner som lärts på källuppgiften. I detta dokument undersöker vi flera legaliseringsprogram som uttryckligen främjar likheten mellan den slutliga lösningen och den ursprungliga modellen. Vi rekommenderar så småningom en enkel L 2-påföljd med hjälp av den förtränade modellen som referens, och vi visar att detta tillvägagångssätt beter sig mycket bättre än standardsystemet med hjälp av viktförfall på ett delvis fruset nätverk.
Nära släkt med vårt arbete, Li et al. REF undersökte flera legaliseringsprogram som uttryckligen främjar likheten mellan den finjusterade modellen och den ursprungliga förträngda modellen.
Explicit Inductive Bias for Transfer Learning with Convolutional Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}