Sammanfattning Detta dokument presenterar ett nytt sätt att utföra multimodal ansiktsigenkänning. Vi använder Partial Least Squares (PLS) för att linjärt kartlägga bilder i olika former till en gemensam I ansikte erkännande, försöker man ofta jämföra galleri bilder tagna under en uppsättning villkor, till en sond bild förvärvat annorlunda. Vid brottsutredningar kan vi till exempel behöva jämföra muggbilder med en skiss som ritats av en skisskonstnär på grundval av den misstänktes muntliga beskrivning. På liknande sätt kan muggbilder eller passfoton jämföras med övervakningsbilder tagna ur ett annat perspektiv. Sonden bilden kan också vara av lägre upplösning (LR) jämfört med ett galleri med hög upplösning (HR) bilder. Vi föreslår en allmän ram som använder Partial Least Squares (PLS) [16] för att utföra erkännande i ett brett spektrum av multimodala scenarier. PLS har använts mycket effektivt för ansiktsigenkänning, men på ett annat sätt, med olika motivation [17, 19, 20, 21, 22]; vårt bidrag är att visa hur och varför PLS kan användas för korsmodalt igenkännande. Mer allmänt argumenterar vi för den linjära projektionens tillämplighet på en mellanliggande delrymd för multimodal igenkänning, och pekar också på värdet av den bilinjära modellen (BLM) [14] för ansiktsigenkänning, som också ger toppmoderna resultat på vissa problem. Experimentell utvärdering av vårt ramverk med hjälp av PLS med pose variation har visat betydande förbättringar i fråga om noggrannhet och körtid över toppmoderna på CMU PIE ansiktsdata uppsättning [26]. För skissfotoigenkänning är vår metod jämförbar med den senaste tekniken. Vi illustrerar också vår metods potential att hantera variation i upplösning med ett enkelt, syntetiskt exempel. I alla tre domänerna tillämpar vi exakt samma algoritm, och använder samma, enkla representation av bilder. Vår allmänna strategi är antingen nära eller bättre än den senaste tekniken som har utformats för specifika tvärmodala förhållanden. Vårt tillvägagångssätt matchar sond- och galleribilder genom att linjärt projicera dem i ett mellanrum där bilder med samma identitet är starkt korrelerade (figur 1). Vi hävdar att det kommer att finnas sådana prognoser som kan hittas med hjälp av PLS och BLM för en mängd olika problem med korsmodalitetsigenkänning. En konsekvens av vårt tillvägagångssätt är att vi inte behöver syntetisera en konstgjord galleribild från sondens bild. Det har varit en enorm mängd tidigare arbete med att jämföra bilder tagna i olika former, som vi
Sharma och Jacobs REF föreslår Partial Least Squares (PLS) för att matcha sond- och galleribilder genom att linjärt projicera dem i ett mellanrum där bilder med samma identitet är starkt korrelerade.
Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch
{'venue': 'CVPR 2011', 'journal': 'CVPR 2011', 'mag_field_of_study': ['Computer Science']}