Detta papper tar upp problemet med videoobjekt segmentering, där den ursprungliga objekt mask ges i den första ramen av en inmatningsvideo. Vi föreslår en ny spatiotemporal Markov Random Field (MRF) modell definieras över pixlar för att hantera detta problem. Till skillnad från konventionella MRF-modeller är de rumsliga beroendena bland pixlar i vår modell kodade av ett Convolutional Neural Network (CNN). Särskilt, för ett givet objekt, sannolikheten för en märkning till en uppsättning rumsligt angränsande pixlar kan förutsägas av en CNN tränas för detta specifika objekt. Som ett resultat, högre ordning, rikare beroenden bland pixlar i uppsättningen kan implicit modelleras av CNN. Med tidsberoenden etablerade genom optiskt flöde kombinerar den resulterande MRF-modellen både rumsliga och tidsbundna signaler för att hantera segmentering av videoobjekt. Det är dock mycket svårt att dra slutsatsen i MRF-modellen på grund av de mycket höga beroendena. I detta syfte föreslår vi en ny CNNembedded algoritm för att utföra ungefärlig inferens i MRF. Denna algoritm fortskrider genom att växla mellan ett temporalt fusionssteg och ett feed-forward CNN-steg. När vår modell initieras med en utseende-baserad en-shot segmentering CNN, överträffar vår modell de vinnande bidragen i DAVIS 2017 Challenge, utan att tillgripa modeller som liknar eller några dedikerade detektorer.
Baserat på optiskt flöde och en rumslig CNN, en pixel-nivå spatio-temporal Markov randomfält (MRF) är byggd i REF där ungefärlig slutsats uppnås genom att använda en CNN.
CNN in MRF: Video Object Segmentation via Inference in a CNN-Based Higher-Order Spatio-Temporal MRF
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}