Övervakningskameror idag fångar ofta NIR (nära infraröda) bilder i lågljusmiljöer. De flesta ansiktsdata som är tillgängliga för utbildning och verifiering samlas dock endast in i VIS-spektrumet (synligt ljus). Det är fortfarande ett utmanande problem att matcha NIR till VIS ansiktsbilder på grund av de olika ljusspektrum. Nyligen har genombrott gjorts för erkännande av VIS ansikte genom att tillämpa djupt lärande på en enorm mängd märkta VIS ansikte prover. Samma djupinlärningsmetod kan inte bara tillämpas på NIR-ansiktsigenkänning av två huvudskäl: För det första finns det mycket begränsade NIR-ansiktsbilder tillgängliga för utbildning jämfört med VIS-spektrumet. För det andra är ansiktsgallerier som ska matchas oftast tillgängliga endast i VIS-spektrumet. I detta dokument föreslår vi en strategi för att utvidga genombrottet i fråga om djupinlärning för VIS till att omfatta NIR-spektrumet, utan omskolning av de underliggande djupgående modellerna som endast ser VIS-ansikten. Vår strategi består av två kärnkomponenter, korsspektral hallucination och lågvärdig inbäddning, för att optimera input respektive output av en VIS djup modell för korsspektral ansiktsigenkänning. Korsspektral hallucination producerar VIS-ansikten från NIR-bilder genom ett djupt lärande. Lågvärdiga inbäddningar återställer en lågrankad struktur för ansikten djupa funktioner över både NIR- och VIS-spektrum. Vi observerar att det ofta är lika effektivt att utföra hallucinationer för att mata in NIR-bilder eller låg-ranka inbäddning till output djupa funktioner för en VIS djup modell för korsspektral igenkänning. När hallucinationer och lågrankade inbäddningar utplaceras tillsammans, observerar vi betydande ytterligare förbättringar; vi får toppmodern noggrannhet på CASIA NIR-VIS v2.0-riktmärket, utan att alls behöva omskola igenkänningssystemet.
REF föreslog en tvärspektral syntes och lågvärdigt inbäddning för att syntetisera en heterogen bild på ett lappat sätt.
Not Afraid of the Dark: NIR-VIS Face Recognition via Cross-Spectral Hallucination and Low-Rank Embedding
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}