Vi introducerar en till synes omöjlig uppgift: med bara ett ljudklipp av någon som talar, bestämma vilken av två ansiktsbilder som är högtalaren. I detta dokument studerar vi detta, och ett antal relaterade tvärmodala uppgifter, som syftar till att besvara frågan: hur mycket kan vi dra av rösten om ansiktet och vice versa? Vi studerar denna uppgift "i det vilda", med hjälp av dataset som nu är allmänt tillgängliga för ansiktsigenkänning från statiska bilder (VGGFace) och högtalaridentifiering från ljud (VoxCeleb). Dessa ger utbildnings- och testscenarier för både statiska och dynamiska tester av cross-modal matchning. Vi gör följande bidrag: (i) vi introducerar CNN arkitekturer för både binära och multi-way cross-modal ansikte och ljud matchning; (ii) vi jämför dynamisk testning (där videoinformation finns tillgänglig, men ljudet är inte från samma video) med statisk testning (där endast en enda stillbild finns tillgänglig); och (iii) vi använder mänskliga tester som en baslinje för att kalibrera svårigheten med uppgiften. Vi visar att ett CNN faktiskt kan tränas för att lösa denna uppgift i både statiska och dynamiska scenarier, och är till och med långt över chanserna på 10-vägs klassificering av ansiktet med tanke på rösten. CNN matchar mänsklig prestanda på enkla exempel (t.ex. olika kön mellan olika ansikten) men överträffar mänsklig prestation på mer utmanande exempel (t.ex. ansikten med samma kön, ålder och nationalitet) 1.
I REF formuleras denna uppgift som ett N-vägsklassificeringsproblem.
Seeing Voices and Hearing Faces: Cross-Modal Biometric Matching
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}