Vi presenterar en effektiv och skalbar teknik för spatiotemporal segmentering av långa videosekvenser med hjälp av en hierarkisk grafbaserad algoritm. Vi börjar med att oversegmentera en volymetrisk videograf i rum-tid regioner grupperade efter utseende. Vi konstruerar sedan en "regiongraf" över den erhållna segmenteringen och upprepar iterativt denna process över flera nivåer för att skapa ett träd av spatio-temporala segmenteringar. Detta hierarkiska tillvägagångssätt genererar hög kvalitet segmenteringar, som tidsmässigt överensstämmer med stabila regiongränser, och gör det möjligt för efterföljande tillämpningar att välja mellan olika nivåer av granularitet. Vi förbättrar segmenteringskvaliteten ytterligare genom att använda tät optiskt flöde för att styra tidsanslutningar i den ursprungliga grafen. Vi föreslår också två nya metoder för att förbättra skalbarheten av vår teknik: a) en parallell utanför kärnalgoritm som kan bearbeta volymer som är mycket större än en in-core algoritm, och b) en clip-baserad processalgoritm som delar upp videon i överlappande klipp i tiden, och segmenterar dem successivt samtidigt som konsekvensen upprätthålls. Vi demonstrerar hierarkiska segmenteringar på videobilder så länge som 40 sekunder, och stöder även ett strömmande läge för godtyckligt långa videor, om än utan förmågan att bearbeta dem hierarkiskt.
Spatio-temporal segmentering av videosekvenser i segment med sammanhängande lokala egenskaper har också behandlats genom grafbaserade metoder REF.
Efficient hierarchical graph-based video segmentation
{'venue': '2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition', 'journal': '2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}