I detta dokument presenterar vi en ny data vision uppgift, namngivna video instans segmentering. Målet med denna nya uppgift är samtidig upptäckt, segmentering och spårning av instanser i videor. Med ord är det första gången som problemet med bildinstanssegmentering utvidgas till videodomänen. För att underlätta forskningen om denna nya uppgift föreslår vi ett storskaligt riktmärke kallat YouTube-VIS, som består av 2 883 högupplösta YouTube-videor, en 40-kategoris etikettuppsättning och 131k högkvalitativa instansmasker. Dessutom föreslår vi en ny algoritm som kallas MaskTrack R-CNN för denna uppgift. Vår nya metod introducerar en ny spårningsgren till Mask R-CNN för att gemensamt utföra detektions-, segmenterings- och spårningsuppgifter samtidigt. Slutligen utvärderar vi den föreslagna metoden och flera starka baslinjer på vår nya datauppsättning. Experimentella resultat visar tydligt fördelarna med den föreslagna algoritmen och avslöjar insikter för framtida förbättringar. Vi tror att uppgiften video instans segmentering kommer att motivera gemenskapen i linje med forskning för video förståelse.
Den nyligen införda video instans segmentering uppgift REF kräver klassificering, segmentering och spårning objekt instanser i videor.
Video Instance Segmentation
{'venue': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'journal': '2019 IEEE/CVF International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}