Att utforma ansiktsigenkänningssystem som kan matcha ansiktsbilder som erhållits i det termiska spektrumet med dem som erhållits i det synliga spektrumet är ett utmanande problem. I detta arbete föreslår vi användning av semantiska-styrda generariella kontrariska nätverk (SG-GAN) för att automatiskt syntetisera synliga ansiktsbilder från sina termiska motsvarigheter. Speciellt, semantiska etiketter, extraheras av ett ansikte tolkning nätverk, används för att beräkna en semantisk förlust funktion för att regularisera det kontrariska nätverket under utbildningen. Dessa semantiska signaler betecknar ansiktskomponentinformation på hög nivå i samband med varje pixel. Dessutom utnyttjas ett identitetsextraktionsnät för att generera flerskaliga funktioner för att beräkna en identitetsförlustfunktion. För att uppnå fotorealistiska resultat införs en perceptuell förlustfunktion under nätverksträningen för att säkerställa att det syntetiserade synliga ansiktet är perceptuellt likt målets synliga ansiktsbild. Vi utvärderar i stor utsträckning fördelarna med individuella förlustfunktioner och kombinerar dem effektivt för att lära sig kartläggningen från termiska till synliga ansiktsbilder. Experiment med två multispektrala ansiktsdata visar att den föreslagna metoden ger lovande resultat i både ansiktssyntes och korsspektral ansiktsmatchning.
I Chen och Ross REF föreslog de en ny modell som heter Semantic-Guided GAN för att transformera från termisk till synlig som använder semantiska signaler från de synliga bilderna och inkludera dem i förlustfunktionen för träning.
Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
{'venue': '2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019)', 'journal': '2019 14th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2019)', 'mag_field_of_study': ['Computer Science']}