Abstrakt. Semantisk korrespondens är problemet med att upprätta korrespondenser över bilder som skildrar olika fall av samma objekt eller scenklass. En av de senaste strategierna för detta problem är att uppskatta parametrar för en global omvandlingsmodell som tätt anpassar den ena bilden till den andra. Eftersom en hel korrelationskarta mellan alla funktionspar över bilder vanligtvis används för att förutsäga en sådan global omvandling, bullriga funktioner från olika bakgrunder, skräp och ocklusion distrahera prediktorn från korrekt uppskattning av anpassningen. Detta är särskilt en utmanande fråga när det gäller problemet med semantisk korrespondens, där det ofta är fråga om stora bildvariationer. I detta dokument introducerar vi en uppmärksam semantisk anpassningsmetod som fokuserar på tillförlitliga korrelationer och filtrerar bort distraktorer. För effektiv uppmärksamhet föreslår vi också en offset-medveten korrelationskärna som lär sig att fånga översättningsinvarianta lokala transformationer i beräkning av korrelationsvärden över rumsliga platser. Experiment visar effektiviteten hos den uppmärksamma modellen och offset-aware kärnan, och den föreslagna modellen som kombinerar båda teknikerna uppnår den state-of-the-art prestanda.
Seo m.fl. REF utvidgade denna idé med en offset-medveten korrelationskärna för att fokusera på tillförlitliga korrelationer, filtrera bort distraktorer.
Attentive Semantic Alignment with Offset-Aware Correlation Kernels
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}