Många av de senaste framstegen inom Computer Vision tillskrivs stora datauppsättningar. Programpaket med öppen källkod för maskininlärning och billig hårdvara har minskat inträdeshindret för att utforska nya metoder i stor skala. Det är möjligt att utbilda modeller över miljontals exempel inom några dagar. Även om storskaliga dataset finns för bild förståelse, såsom ImageNet, det finns inga jämförbara storlek video klassificering dataset. I det här dokumentet introducerar vi YouTube-8M, den största flermärkta videoklassificeringsdatauppsättningen, bestående av 8 miljoner videor-500K timmar videoannoterade med ett ordförråd på 4800 visuella enheter. För att få videorna och deras (flera) etiketter använde vi ett YouTube-videoanmärkningssystem, som etiketterar videor med huvudämnena i dem. Medan etiketterna är maskingenererade, de har hög precision och härrör från en mängd mänskliga-baserade signaler inklusive metadata och frågeklick signaler, så de utgör ett utmärkt mål för innehållsbaserade annoteringsstrategier. Vi filtrerade videoetiketterna (Knowledge Graph-enheter) med hjälp av både automatiserade och manuella kurationsstrategier, inklusive att fråga människor om etiketterna är visuellt igenkännliga. Sedan avkodade vi varje video på en-frame-per-sekund, och använde en Deep CNN förtränad på ImageNet för att extrahera den dolda representationen omedelbart före klassificeringslagret. Slutligen komprimerade vi ramfunktionerna och gör både funktioner och etiketter på videonivå tillgängliga för nedladdning. Datasetet innehåller frame-level-funktioner för över 1,9 miljarder videoramar och 8 miljoner videofilmer, vilket gör det till det största offentliga flermärkta videodatasetet. Vi tränade olika (modest) klassificeringsmodeller på datasetet, utvärderade dem med hjälp av populära utvärderingsmått, och rapportera dem som baslinjer. Trots storleken på datasetet tränar en del av våra modeller till konvergens på mindre än en dag på en enda maskin med hjälp av det allmänt tillgängliga TensorFlow ramverket. Vi planerar att släppa kod för utbildning en grundläggande TensorFlow modell och för beräkningsmått. Vi visar att förutbildning på stora data generaliserar till andra datauppsättningar som Sports-1M och ActivityNet. Vi uppnår state-of-the-art på ActivityNet, förbättra mAP från 53,8% till 77,6%. Vi hoppas att den aldrig tidigare skådade omfattningen och mångfalden av YouTube-8M kommer att leda till framsteg inom videoförståelse och representationsinlärning.
Fallet med video förståelse har fått uppmärksamhet medan storskaliga datauppsättningar blir allmänt tillgängliga REF.
YouTube-8M: A Large-Scale Video Classification Benchmark
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}