Att matcha fotgängare över osammanhängande kameravyer, så kallad personåteridentifiering (re-id), är ett utmanande problem som är av betydelse för visuell igenkänning och övervakning. De flesta befintliga metoder utnyttjar lokala regioner inom spatial manipulation för att utföra matchning i lokal korrespondens. De extraherar dock huvudsakligen fasta representationer från fördelade regioner för varje bild och utför matchning baserat på den extraherade representationen därefter. För modeller i denna pipeline, lokala finare mönster som är avgörande för att skilja positiva par från negativa inte kan fångas, och därmed göra dem underperformerade. I detta dokument föreslår vi en ny djup multiplikativ integrationsfunktion, som besvarar frågan om vad-och-var att matcha för effektiv person re-id. För att ta itu med vad som ska matcha, betonar vårt djupa nätverk gemensamma lokala mönster genom att lära gemensamma representationer på ett multiplikativt sätt. Nätverket består av två konvolutionella neurala nätverk (CNN) för att extrahera konvolutionella aktiveringar, och genererar relevanta deskriptorer för fotgängarmatchning. Detta leder till flexibla representationer för parvisa bilder. För att ta itu med var man ska matcha, bekämpar vi den rumsliga missanpassningen genom att utföra rumsligt återkommande poolning via ett fyrriktat återkommande neuralt nätverk för att införa rumsligt beroende över alla positioner med avseende på hela bilden. Det föreslagna nätverket är utformat för att vara end-to-end trainingable för att karakterisera lokala parvisa funktionsinteraktioner på ett rumsligt anpassat sätt. För att visa vår metods överlägsenhet utförs omfattande experiment över tre referensdatauppsättningar: VIPeR, CUHK03 och Market-1501.
Ett annat arbete inom Ref har infört en multiplikativ integrationsmekanism för att på ett uppmärksamt sätt lära sig gemensamma representationer från gemensamma lokala finare mönster.
What-and-Where to Match: Deep Spatially Multiplicative Integration Networks for Person Re-identification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}