Spectral inbäddning ger en ram för att lösa perceptuella organisationsproblem, inklusive bildsegmentering och figur / mark organisation. Från en affinitetsmatris som beskriver parvisa relationer mellan bildpunkter samlar den bildpunkter i regioner och, med hjälp av en komplext värderad förlängning, beställer bildpunkter enligt lager. Vi tränar ett konvolutionellt neuralt nätverk (CNN) för att direkt förutsäga de parvisa relationer som definierar denna affinitetsmatris. Spektral inbäddning löser sedan dessa förutsägelser in i en globalt konsekvent segmentering och figur / mark organisation av scenen. Experiment visar på betydande fördelar för denna direktkoppling jämfört med tidigare arbeten som använder explicita mellanliggande stadier, t.ex. kantdetektering, på vägen från bild till affinitet. Våra resultat föreslår spektral inbäddning som ett kraftfullt alternativ till det villkorliga slumpmässiga fältet (CRF)-baserade globaliseringssystem vanligtvis kopplade till djupa neurala nätverk.
Maire m.fl. REF utbildade en djup CNN för att direkt förutsäga enheterna i en affinitetsmatris, som visade god prestanda på bildsegmentering.
Affinity CNN: Learning Pixel-Centric Pairwise Relations for Figure/Ground Embedding
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}