Inspirerad av de senaste framstegen med djupinlärning i till exempel segmentering och objektspårning, introducerar vi konceptet convnet-baserad vägledning som tillämpas på videoobjekt segmentering. Vår modell utgår per ram, vägledd av resultatet från den tidigare ramen mot föremålet av intresse i nästa ram. Vi visar att mycket exakt objekt segmentering i videor kan aktiveras genom att använda en convolutional neurala nätverk (convnet) tränas med statiska bilder endast. Den viktigaste komponenten i vår strategi är en kombination av offline och online lärande strategier, där den förra producerar en förfinad mask från den tidigare "ram uppskattning och den senare gör det möjligt att fånga utseendet på den specifika objekt instans. Vår metod kan hantera olika typer av indataanteckningar såsom avgränsande rutor och segment samtidigt som man utnyttjar en godtycklig mängd kommenterade ramar. Därför är vårt system lämpligt för olika applikationer med olika krav när det gäller noggrannhet och effektivitet. I vår omfattande utvärdering får vi konkurrenskraftiga resultat på tre olika datauppsättningar, oberoende av vilken typ av indata annotation.
På samma sätt lär sig MaskTrack REF att förfina den upptäckta masken för ett objekt genom att använda upptäckterna av den tidigare ramen.
Learning Video Object Segmentation from Static Images
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}