Videobaserad personidentifiering (re-id) är en central tillämpning i övervakningssystem med betydande säkerhetsproblem. Att matcha personer över delade kameravyer i deras videofragment är till sin natur utmanande på grund av de stora visuella variationerna och okontrollerade bildhastigheter. Det finns två steg som är avgörande för personens re-id, nämligen discriminative feature learning och metrisk learning. Befintliga metoder tar dock hänsyn till de två stegen oberoende av varandra, och de utnyttjar inte den tidsbundna och rumsliga informationen fullt ut i videorna. I detta dokument föreslår vi en siamesisk uppmärksamhetsarkitektur som tillsammans lär sig spatiotemporala videorepresentationer och deras likhetsmått. Nätverket extraherar lokala konvolutionella funktioner från regioner i varje ram och förbättrar deras diskriminativa förmåga genom att fokusera på olika regioner när man mäter likheten med en annan fotgängarvideo. Uppmärksamhetsmekanismen är inbäddad i rumsliga gated återkommande enheter för att selektivt sprida relevanta funktioner och memorera deras rumsliga beroenden genom nätverket. Modellen lär sig i huvudsak vilka delar (där) från vilka ramar (när) är relevanta och särskiljande för matchande personer och fäster större vikt där. Den föreslagna Siamese modellen är end-to-end trainingable att gemensamt lära sig jämförbara dolda representationer för parade fotgängarvideor och deras likhetsvärde. Omfattande experiment på tre referensdatauppsättningar visar effektiviteten hos varje komponent i det föreslagna djupa nätverket, samtidigt som de senaste metoderna överträffas. Index Terms-Video-baserad person om-identifikation, gated återkommande enheter, rumsliga korrelationer, visuell uppmärksamhet.
Wu och Al. REF utökar GRU med uppmärksamhetsmekanism för att selektivt sprida relevanta funktioner och memorera deras rumsliga beroenden genom nätverket.
Where-and-When to Look: Deep Siamese Attention Networks for Video-Based Person Re-Identification
{'venue': 'IEEE Transactions on Multimedia', 'journal': 'IEEE Transactions on Multimedia', 'mag_field_of_study': ['Computer Science']}