Personåteridentifiering (Re-ID) är en viktig uppgift inom videoövervakning som automatiskt söker igenom och identifierar personer över olika kameror. Trots de omfattande Re-ID-framstegen i RG-B-kameror har få verk studerat Re-ID mellan infraröda och RGB-bilder, som i huvudsak är ett multimodalitetsproblem och som ofta förekommer i verkliga scenarier. Den viktigaste utmaningen ligger i två veck, dvs. bristen på diskriminerande information för att på nytt identifiera samma person mellan RGB och infraröda modaliteter, och svårigheten att lära sig ett robust mått för en sådan storskalig korsmodalitetshämtning. I detta dokument tar vi itu med de två ovannämnda utmaningarna genom att föreslå ett nytt tvärmodalitetsgenerativt kontraversarialt nätverk (benämnt cmGAN). För att hantera bristen på discriminativ information, utformar vi en banbrytande generativ kontrarioral utbildning baserad discriminator för att lära sig discriminativ funktion representation från olika former. För att hantera frågan om storskalig korsmodalitet metriska lärande, integrerar vi både identifiering förlust och korsmodalitet triplet förlust, vilket minimerar inter-klass tvetydighet samtidigt maximera korsmodalitet likhet bland fall. Hela cmGAN kan tränas på ett end-to-end sätt genom att använda standard djup neurala nätverk ram. Vi har kvantifierat resultatet av vårt arbete i den nyligen släppta SYSU RGB-IR Re-ID-riktmärket, och har rapporterat överlägsen prestanda, dvs. Cumulative Match Characteristic kurva (CMC) och medelvärde Precision (MAP), över state-of-the-art verk [Wu et al., 2017], minst 12.17% respektive 11,85%.
REF utformar en ny crossmodality generarative adversarial network (cmGAN) för att lära sig särskiljande funktion representation från olika metoder.
Cross-Modality Person Re-Identification with Generative Adversarial Training
{'venue': 'IJCAI', 'journal': None, 'mag_field_of_study': ['Computer Science']}