Synlig (VIS) för nära infraröd (NIR) ansiktsmatchning är ett utmanande problem på grund av den betydande domänavvikelsen mellan domänerna och brist på tillräckliga data för utbildning av cross-modal matchningsalgoritmer. Befintliga metoder försöker ta itu med detta problem genom att antingen syntetisera synliga ansikten från NIR-ansikten, extrahera domäninvarianta funktioner från dessa metoder, eller projicera heterogena data på ett gemensamt latent utrymme för cross-modal matchning. I det här dokumentet har vi ett annat tillvägagångssätt där vi använder oss av DVR (Disentangled Variational Representation) för crossmodal matchning. För det första modellerar vi en ansiktsrepresentation med en inneboende identitetsinformation och dess variationer inom personen. Genom att utforska det lösliga latenta variabla utrymmet används en variationsbar nedre gräns för att optimera den ungefärliga bakre delen för NIR- och VIS-representationer. För det andra, som syftar till att få mer kompakt och discriminativt lösligt latent utrymme, vi införa en minimering av identitetsinformation för samma ämne och en avslappnad korrelation anpassning begränsning mellan NIR och VIS modalitet variationer. Ett alternativt optimeringssystem föreslås för den lösliga variationsrepresentationsdelen och den heterogena nätdelen för ansiktsigenkänning. Den ömsesidiga marknadsföringen mellan dessa två delar minskar effektivt diskrepansen mellan NIR- och VIS-domänen och lindrar övermonteringen. Omfattande experiment på tre utmanande NIR-VIS heterogena ansiktsigenkänningsdatabaser visar att den föreslagna metoden uppnår betydande förbättringar jämfört med de senaste metoderna.
REF utforskade ett lösligt latent variabelt utrymme för att optimera den ungefärliga bakre delen för NIR- och VIS-funktioner.
Disentangled Variational Representation for Heterogeneous Face Recognition
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}