Framgången med djupt lärande i vision kan tillskrivas: a) modeller med hög kapacitet, b) ökad beräkningskraft, och c) tillgång till storskaliga märkta data. Sedan 2012 har det skett betydande framsteg i representationskapaciteten hos modellerna och beräkningskapaciteten hos GPU. Men storleken på den största datauppsättningen har förvånansvärt nog förblivit konstant. Vad händer om vi ökar datasetet storlek med 10× eller 100×? Detta papper tar ett steg mot att rensa molnen av mysterium som omger förhållandet mellan "enorma data" och visuellt djupt lärande. Genom att utnyttja JFT-300M-datasetet som har mer än 375M bullriga etiketter för 300M-bilder undersöker vi hur utförandet av aktuella visionsuppgifter skulle förändras om dessa data användes för representationsinlärning. Vår tidning ger en del överraskande (och en del förväntade) resultat. För det första ser vi att prestandan på visionsuppgifter ökar logaritmiskt baserat på volym av träningsdata storlek. För det andra visar vi att läran om representation (eller förutbildningen) fortfarande är mycket lovande. Man kan förbättra prestandan på många visioner genom att bara träna en bättre basmodell. Slutligen presenterar vi som förväntat nya resultat från hjärtats tillstånd för olika visionsuppgifter, inklusive bildklassificering, objektdetektering, semantisk segmentering och bedömning av människans pose. Vår uppriktiga förhoppning är att detta inspirerar visionsgemenskapen att inte underskatta data och utveckla kollektiva insatser för att bygga större datauppsättningar.
Som Sun och Al. beskrivs i REF, prestanda neurala nätverk logaritmiskt ökar baserat på volymen av träningsdata.
Revisiting Unreasonable Effectiveness of Data in Deep Learning Era
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}