Abstract Cross modal ansikte matchning mellan termiska och synliga spektrum är en mycket önskad kapacitet för natt övervakning och säkerhet program. På grund av ett mycket stort modalitetsgap är värme-till-synlig ansiktsigenkänning ett av de mest utmanande ansiktsmatchningsproblemen. I detta dokument presenterar vi en strategi för att med stor marginal överbrygga denna modalitetsklyfta. Vårt tillvägagångssätt fångar det mycket icke-linjära förhållandet mellan de två metoderna genom att använda ett djupt neuralt nätverk. Vår modell försöker lära sig en icke-linjär kartläggning från det synliga till det termiska spektrumet samtidigt som identitetsinformationen bevaras. Vi visar betydande prestandaförbättringar på tre svåra värmesynliga ansiktsdatauppsättningar. Det framlagda tillvägagångssättet förbättrar den senaste tekniken med mer än 10 % i UND-X1-datasetet och med mer än 15–30 % i NVESD-datasetet i form av Rank-1-identifiering. Vår metod överbryggar prestandaminskningen på grund av modalitetsgapet med mer än 40 %.
REF använde djupa neurala nätverk för att lära sig en icke-linjär kartläggning för att överbrygga domänklyftan mellan termiska och VIS ansiktsbilder.
Deep Perceptual Mapping for Cross-Modal Face Recognition
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}