Abstract-existerande lärande-baserad ansikte super-upplösning (hallucination) tekniker genererar högupplösta bilder av en enda ansiktsmodalitet (dvs. vid ett fast uttryck, pose och belysning) givet en eller uppsättning av låg-upplösning ansikte bilder som sond. Här presenterar vi ett generaliserat tillvägagångssätt baserat på en hierarkisk tensor (multilinjär) rymdrepresentation för att hallucinera högupplösta ansiktsbilder över flera modaliteter, uppnå generalisering till variationer i uttryck och pose. I synnerhet formulerar vi en enhetlig tensor som kan reduceras till två delar: en global bildbaserad tensor för att modellera kartläggningar mellan olika ansiktsformer, och en lokal patch-baserad multiupplösning tensor för att införliva högupplösta bilddetaljer. För realistiska hallucinationer av oregistrerade lågupplösta ansikten som ingår i råa bilder, utvecklar vi en automatisk algoritm för ansiktsjustering som kan pixel-wise-uppriktning genom att iterativt förvränga siktytan till dess projektion i utrymmet för träning ansiktsbilder. Våra experiment visar inte bara prestanda överlägsen befintliga riktmärke ansikte super-upplösning tekniker på enkel modal ansikts hallucination, men också nyhet av vår strategi för att hantera multimodala hallucinationer och dess robusthet i automatisk anpassning under praktiska bildförhållanden. Index Terms-Face hallucination, super-upplösning, tensor. Jag. PROBLEM DEKLARATION UE till den inneboende icke-rigiditet och extrinsiska okontrollerbara bildförhållanden, ansikte bilder av icke-kooperativa mänskliga försökspersoner fångas av levande övervakningskameror på avstånd ofta består av icke-linjära variationer orsakade av förändringar i uttryck, synvinkel (pose), eller belysning. Svårigheterna att analysera ansiktsbilder förvärras ytterligare när upplösningen av ansiktsbilder blir låg, vilket ärtypiskt i CCTV-videor. De saknade högupplösta detaljer om ansiktsdrag och utseende kan försämra effektiv ansiktsbild analys och igenkänning. Detta väcker två viktiga frågor som måste tas upp. 1) Med tanke på ansiktsbilder med låg upplösning, hur kan vi återställa eller syntetisera de förlorade högfrekvensdetaljerna vid en fördefinierad pose och uttryck men med okänd identitet? 2) Hur bygger vi en enhetlig modell som kan hantera variationer från olika och flera metoder där varje modalitet definierar en källa till variation såsom förändring i uttryck, pose eller belysning? Där Återuppbyggnadsbaserad metod ärver begränsningar när förstoringsfaktorn ökar [27]. I vårt tillvägagångssätt fokuserar vi på inlärningsbaserad superupplösning, som när den tillämpas på mänskliga ansiktsbilder, också kallas "ansiktshallucination" [28]. I detta dokument är vi motiverade av önskan att utveckla en generaliserad modell som kan hallucinera ansiktsbilder över flera former såsom uttryck eller posera variationer, med tanke på varje lågupplöst ansiktsbildsinmatning av en enda modalitet. I detta syfte formulerar vi en enhetlig tensor rymdrepresentation som omfattar både globala och lokala tensorer. Specifikt, vi modellerar både hög- och låg upplösning utbildning ansikte bilder av flera modaliteter med hjälp av en enhetlig tensor utrymme representation. Vi reducerar denna enhetliga tensor till två komponenter: en global bildbaserad tensor som modellerar kartläggningarna mellan olika ansiktsformer, och en lokal patchbaserad multiupplösnings tensor som innehåller högupplösta ansiktsbilder i cross-modality karteringsprocessen. Med tanke på alla lågupplösta ansiktsbilder av en enda modalitet, syntetiserar vi först flera lågupplösta ansiktsbilder av olika modaliteter med hjälp av den utbildade globala tensoren. Baserat på dessa syntetiserade lågupplösta ansiktsbilder använder vi sedan den utbildade lokala tensoren för att konstruera motsvarande högupplösta bild för varje ansiktsmodalitet. På grund av att den högupplösta ansiktsbilden som konstruerats av den lokala tensoren saknar den högsta visuella frekvensinformationen, lägger vi ytterligare till en högfrekvent komponentrest med hjälp av icke-parametrisk patch inlärning från högupplösta träningsansiktsbilder. Vi integrerar denna sekventiella statistiska modelleringsprocess i ett Bayesianskt ramverk, så att vi kan få hallucinerade högupplösta ansiktsbilder av flera olika modaliteter med tanke på att ansiktsbilden har låg upplösning. En annan viktig underliggande fråga för ansiktshallucination är kravet på exakt pixelvis ansiktsjustering (registrering): även en liten mängd avvikelser kan dramatiskt försämra hallucinationsresultatet. De flesta befintliga tekniker kräver att både utbildning och test ansikte bilder har registrerats manuellt till en fördefinierad mall [28], [31]. Följaktligen är de av begränsad användning i många praktiska scenarier, där ansiktena i råa bilder normalt är av icke frontal vyer med låg upplösning. Nyligen, Liu et al. [37] föreslås automatiskt registrera lågupplösta ansiktsbilder med hjälp av en algoritm härledd från modellen av Lucas-Kanade [33]. Men denna algoritm endast anser en genomsnittlig träningsyta (även om varians 1057-7149/$25.00
Jia och Gong REF utförde ansiktshallucination av en enda modalitet (uttryck, pose och belysning) till en uppsättning högupplösta (HR) bilder av olika former, men använde flera människors bilder som tidigare.
Generalized Face Super-Resolution
{'venue': 'IEEE Transactions on Image Processing', 'journal': 'IEEE Transactions on Image Processing', 'mag_field_of_study': ['Computer Science', 'Medicine', 'Mathematics']}