I detta papper presenterar vi en ny inlärningsbaserad algoritm för temporal segmentering av en video till klipp baserat på både kamera och scen rörelse, i synnerhet, baserat på kombinationer av statiska vs. dynamisk kamera och statiska vs. dynamisk scen. Med en video utför vi först skottgränsdetektering för att segmentera videon till skott. Vi upprätthåller tidskontinuitet genom att bygga ett Markov Random Field (MRF) över ramen för varje videobild med kanter mellan på varandra följande ramar och gjuta segmenteringsproblemet som en ram nivå diskret märkning problem. Med hjälp av manuellt märkta data lär vi oss klassificerare som utnyttjar signaler från optiskt flöde för att ge bevis för de olika etiketterna, och drar slutsatsen den bästa märkningen över ramarna. Vi visar effektiviteten i tillvägagångssättet med hjälp av användarvideor och filmer i full längd. Med hjälp av sextio fullängdsfilmer som sträcker sig över 50 år visar vi att den föreslagna algoritmen för grupperingsramar enbart baserat på rörelseriktningar kan hjälpa beräkningstillämpningar som att återfå djup från en video och även avslöja intressanta trender i filmer, som finner sig intressanta nya tillämpningar i videoanalys (tidsstämpande arkivfilmer) och filmstudier.
Kowdle och Chen REF utbildar också klassificerare baserade på dynamiken i både scen och kamera, och använder dem tillsammans med skott-gränsöverskridande detektion för att segmentera videor till klipp av konsekvent rörelse.
Learning to segment a video to clips based on scene and camera motion
{'venue': 'ECCV', 'journal': None, 'mag_field_of_study': ['Computer Science']}