Abstract-Vi presenterar en deskriptor, kallad helt konvolutionell självlikhet (FCSS), för tät semantisk korrespondens. Till skillnad från traditionella täta korrespondensmetoder för uppskattning av djup eller optiskt flöde, innebär semantisk korrespondensuppskattning ytterligare utmaningar på grund av intraklass utseende och formvariationer mellan olika instanser inom samma objekt eller scenkategori. För att på ett robust sätt matcha punkter över semantiskt liknande bilder formulerar vi FCSS med hjälp av lokal självlikhet (LSS), som i sig är okänsligt för variationer i utseendet inom klassen. LSS inkorporeras genom ett föreslaget självlikviditetsskikt (CSS-skikt), där provtagningsmönstren och självlikviditetsmåttet lärs gemensamt på ett end-to-end- och flerskaligt sätt. För att ta itu med variationer i form mellan olika objekt, föreslår vi dessutom ett konvolutionellt affinetransformatorskikt (CAT) som uppskattar explicita affine transformationsfält vid varje pixel för att omvandla provtagningsmönster och motsvarande mottagliga fält. Eftersom utbildningsdata för semantisk korrespondens är ganska begränsade, föreslår vi att man utnyttjar tidigare objektkandidater i de flesta befintliga datauppsättningar och även överensstämmelse mellan objektpar för att möjliggöra svagt övervakat lärande. Experiment visar att FCSS avsevärt överträffar konventionella hantverksmässiga deskriptorer och CNN-baserade deskriptorer på olika riktmärken.
Fullt konvolutionell självlikviditet REF är en deskriptor för tät semantisk korrespondens som använder sig av lokal självlikhet för att matcha keypoints mellan olika instanser inom samma objektklass.
FCSS: Fully Convolutional Self-Similarity for Dense Semantic Correspondence
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science']}