Att utvidga toppmoderna objektdetektorer från bild till video är utmanande. Noggrannheten i detektionen lider av degenererade objekt framträdanden i videor, t.ex., rörelse oskärpa, video defocus, sällsynta poser, etc. Befintligt arbete försöker utnyttja timlig information på boxnivå, men sådana metoder är inte utbildade end-to-end. Vi presenterar flödesstyrd aggregering av funktioner, en exakt och end-to-end inlärningsram för upptäckt av videoobjekt. Den utnyttjar tidsmässig samstämmighet på funktionsnivå i stället. Det förbättrar per-frame funktioner genom aggregering av närliggande funktioner längs rörelsevägar, och därmed förbättrar videoigenkänning noggrannhet. Vår metod förbättrar avsevärt på starka singleframe basics i ImageNet VID [33], särskilt för mer utmanande snabbt rörliga objekt. Vårt ramverk är principfast, och på samma sätt som de bäst konstruerade systemen vinner ImageNet VID utmaningar 2016, utan ytterligare klockor-och-visslor. Koden skulle släppas. De senaste åren har betydande framsteg gjorts när det gäller att upptäcka föremål [11]. De senaste metoderna har en liknande struktur i två steg. Deep Convolutional Neural Networks (CNN) [22, 36, 40, 14] tillämpas först för att generera en uppsättning funktionskartor över hela inmatningsbilden. Ett grunt detekteringsspecifikt nätverk [13, 10, 30, 26, 5] genererar sedan detekteringsresultaten från funktionskartorna. Dessa metoder ger utmärkta resultat i stillbilder. Det är dock svårt att direkt tillämpa dem för upptäckt av videoobjekt. igenkänningsnoggrannheten lider av försämrade objekt framträdanden i videor som sällan observeras i stillbilder, såsom rörelse oskärpa, video defocus, sällsynta poser, etc (Se ett exempel i figur 1 och mer i figur 2). Som kvantifieras i experiment, en state-of-the-art stillbild objektdetektor (R-FCN [5] + ResNet-101 [14]) försämras anmärkningsvärt för snabbt rörliga objekt (Tabell 1 a ).
Baserat på det ovan nämnda arbetet, Zhu et al. REF föreslås att aggregera närliggande funktioner längs rörelsevägen, förbättra funktionens kvalitet.
Flow-Guided Feature Aggregation for Video Object Detection
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}