Abstrakt. Att lära sig långsiktiga rumsliga-temporala funktioner är avgörande för många videoanalysuppgifter. Befintliga videosegmenteringsmetoder är dock huvudsakligen beroende av statisk bildsegmenteringsteknik, och metoder som fångar tidsberoendet för segmentering måste vara beroende av pretränade optiska flödesmodeller, vilket leder till suboptimala lösningar på problemet. End-to-end sekventiell inlärning för att utforska rumsligatemporala funktioner för videosegmentering begränsas till stor del av omfattningen av tillgängliga videosegmenteringsdata, dvs. även den största videosegmenteringsdatauppsättningen innehåller endast 90 korta videoklipp. För att lösa detta problem, bygger vi en ny storskalig video objekt segmentering dataset kallas YouTube Video Object Segmentation dataset (YouTube-VOS). Vår datauppsättning innehåller 3.252 YouTube-videoklipp och 78 kategorier inklusive vanliga objekt och mänskliga aktiviteter 4. Detta är den överlägset största videoobjekt segmentering dataset till vår kunskap och vi har släppt det på https://youtube-vos.org. Baserat på denna datauppsättning föreslår vi ett nytt sekvens-till-sekvens-nätverk för att fullt ut utnyttja långsiktig rumslig-temporal information i videor för segmentering. Vi visar att vår metod kan uppnå de bästa resultaten på vår YouTube-VOS testuppsättning och jämförbara resultat på DAVIS 2016 jämfört med de nuvarande toppmoderna metoderna. Experiment visar att den storskaliga datauppsättningen verkligen är en nyckelfaktor för framgången med vår modell.
Nyligen, Xu et al. REF föreslår en sekvens-till-sekvens-lärande algoritm för att lära sig långsiktig rumslig-temporal information för segmentering.
YouTube-VOS: Sequence-to-Sequence Video Object Segmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}