Datauppsättningar är en integrerad del av samtida objektigenkänningsforskning. De har varit den främsta orsaken till de betydande framstegen på området, inte bara som källa till stora mängder utbildningsdata, utan också som ett sätt att mäta och jämföra prestanda hos konkurrerande algoritmer. Samtidigt har datauppsättningar ofta fått skulden för att ha begränsat fokus på objektigenkänningsforskning och reducerat den till ett enda referensresultatnummer. Vissa datauppsättningar, som började som datainsamlingsinsatser som syftade till att representera den visuella världen, har blivit slutna världar för sig själva (t.ex. Corel världen, Caltech-101 världen, PASCAL VOC världen). Med fokus på att slå de senaste referensnumren på den senaste datauppsättningen, har vi kanske förlorat det ursprungliga syftet ur sikte? Syftet med detta dokument är att göra en bedömning av nuvarande tillstånd för igenkänningsdataset. Vi presenterar en jämförelsestudie med hjälp av en uppsättning populära datauppsättningar, utvärderade utifrån ett antal kriterier, inklusive: relativ datafördel, korsdatauppsättning generalisering, effekter av slutna världen antagande, och urvalsvärde. De experimentella resultaten, några ganska överraskande, föreslår riktningar som kan förbättra datainsamling samt algoritm utvärdering protokoll. Men mer allmänt är förhoppningen att stimulera diskussionen i samhället om denna mycket viktiga, men i stort sett försummade fråga.
Med tanke på CNN:s kraftfulla kapacitet att överanpassa till specifika data, är vi inspirerade att se över arbetet med REF, som presenterade en jämförande studie av populära objekt erkännande dataset med målen att förbättra datainsamling och utvärdering protokoll.
Unbiased look at dataset bias
{'venue': 'CVPR 2011', 'journal': 'CVPR 2011', 'mag_field_of_study': ['Computer Science']}