Överför lärande är en hörnsten i datorseendet, men lite arbete har gjorts för att utvärdera förhållandet mellan arkitektur och överföring. En implicit hypotes i modern datorseende forskning är att modeller som presterar bättre på ImageNet nödvändigtvis prestera bättre på andra vision uppgifter. Denna hypotes har dock aldrig systematiskt prövats. Här jämför vi prestandan för 16 klassificeringsnätverk på 12 bildklassificeringsdataset. Vi finner att när nätverk används som fasta funktionsextraktorer eller finjusterade, finns det en stark korrelation mellan ImageNet noggrannhet och överföring noggrannhet (r = 0,99 respektive 0,96). I den tidigare inställningen finner vi att denna relation är mycket känslig för hur nätverk utbildas på ImageNet; många vanliga former av legalisering något förbättra ImageNet noggrannhet men avkastning näst sista lager funktioner som är mycket värre för överföring lärande. Dessutom finner vi att på två små finkorniga bildklassificeringsdata ger förträning på ImageNet minimala fördelar, vilket indikerar de inlärda funktionerna från Ima-geNet inte överför väl till finkorniga uppgifter. Tillsammans visar våra resultat att ImageNet arkitekturer generaliserar väl över datauppsättningar, men ImageNet funktioner är mindre allmänna än vad som tidigare föreslagits. • Regulatorer som förbättrar ImageNet prestanda är mycket skadliga för prestanda överföring lärande baserat på näst sista lager funktioner. • Arkitekturer överför bra över uppgifter även när 2656
Författarna till REF-studien överför lärande i inställningen av modeller som är preutbildade på imagenet.
Do Better ImageNet Models Transfer Better?
{'venue': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}