Automatisk högtalare namngivning är problemet med lokalisering samt identifiera varje talande tecken i en TV / film / levande show video. Detta är ett utmanande problem som främst hänför sig till dess multimodala karaktär, nämligen att enbart ta itu med problemet är otillräckligt för att uppnå goda resultat. Tidigare multimodala strategier för detta problem behandlar vanligen data från olika metoder var för sig och slår samman dem med hjälp av hantverksmässiga heuristiker. Sådana metoder fungerar bra för enkla scener, men misslyckas med att uppnå hög prestanda för högtalare med stora variationer i utseendet. I detta dokument föreslår vi en ny konvolutionell neurala nätverk (CNN) baserad lärande ram för att automatiskt lära fusionsfunktionen av både ansikte och ljud signaler. Vi visar att utan att använda ansiktsspårning, ansiktslandmärke lokalisering eller textning / transcript, vårt system med robust multimodal funktion extraktion kan uppnå state-of-the-art högtalare namngivning prestanda utvärderas i två olika TV-serier. Datauppsättningen och implementeringen av vår algoritm är allmänt tillgängliga online.
I REF införs ett multimodalt namn på talare.
Deep Multimodal Speaker Naming
{'venue': "MM '15", 'journal': None, 'mag_field_of_study': ['Computer Science']}