Högtalaridentifiering syftar på uppgiften att lokalisera ansiktet på en person som har samma identitet som den pågående rösten i en video. Denna uppgift kräver inte bara kollektiv uppfattning om både visuella och auditiva signaler, robustheten att hantera svåra kvalitetsnedbrytningar och oöverskådliga innehållsvariationer är också oumbärlig. I det här dokumentet beskriver vi en ny multimodal arkitektur för kortfristigt minne (LSTM) som sömlöst förenar både visuella och hörselmässiga metoder från början av varje sekvensinmatning. Den viktigaste idén är att utöka den konventionella LSTM genom att inte bara dela vikter över tid steg, men också dela vikter över olika modaliteter. Vi visar att modellering av tidsberoendet över ansikte och röst avsevärt kan förbättra robustheten till kvalitetsförsämringar och variationer i innehåll. Vi fann också att våra multimodala LSTM är robusta mot distraherare, nämligen de icke-talande identiteterna. Vi tillämpade vår multimodala LSTM på The Big Bang Theory dataset och visade att vårt system överträffar toppmoderna system i högtalaridentifiering med lägre falsk larmfrekvens och högre igenkänningsnoggrannhet. Högtalaridentifiering är en av de viktigaste byggstenarna i många intelligenta videobehandlingssystem som videokonferenser, videosammanfattning och videoövervakning, etc. Det syftar till att lokalisera ansiktet på talaren i samband med de pågående rösterna. För att uppnå denna uppgift är det nödvändigt med en kollektiv uppfattning om både visuella och auditiva signaler. Under de senaste åren har vi observerat de snabba framstegen när det gäller erkännande och erkännande av tal genom att använda Convolutional Neural Networks är inte ovanliga. Dessa effekter försämrar avsevärt prestandan hos många befintliga CNN-baserade metoder. För det andra utbildas den toppmoderna konvolutionsnätverksbaserade ansiktsmodellen med stillbilder. Dess tillämpning i sekventiella data och dess anslutning till återkommande nätverk är mindre utforskad och det är inte enkelt att utvidga CNN-baserade metoder till den multimodala inlärningsmiljön. För det tredje bör ett praktiskt system vara tillräckligt robust för att avvisa distraherare, ansiktena på icke-talande personer som anges av de röda avgränsande rutorna i figur 1b, vilket ger ytterligare utmaningar till uppgiften. Trots den stora potentialen hos både CNN och RNN för ansikts- och hörseldata är det fortfarande oklart om dessa två
Detta arbete utökas ytterligare inom det tidsmässiga området med multimodala LSTM genom REF.
13 F eb 2 01 6 Look , Listen and Learn-A Multimodal LSTM for Speaker Identi fication