Abstract-Audio-visual igenkänning (AVR) har ansetts vara en lösning för taligenkänningsuppgifter när ljudet är korrumperat, samt en visuell igenkänningsmetod som används för högtalarverifiering i flerhögtalarscenarier. Tillvägagångssättet för AVR-system är att utnyttja den extraherade informationen från en enda metod för att förbättra den andra metodens igenkänningsförmåga genom att komplettera den information som saknas. Det väsentliga problemet är att hitta överensstämmelse mellan ljud och visuella strömmar, vilket är målet för detta arbete. Vi föreslår användning av en kopplad 3D Convolutional Neural Network (3D-CNN) arkitektur som kan kartlägga båda metoderna till ett representationsutrymme för att utvärdera korrespondensen mellan audiovisuella strömmar med hjälp av de lärda multimodala funktionerna. Den föreslagna arkitekturen kommer att omfatta både rumslig och tidsmässig information gemensamt för att på ett effektivt sätt finna sambandet mellan tidsrelaterad information för olika former. Genom att använda en relativt liten nätverksarkitektur och mycket mindre dataset för utbildning överträffar vår föreslagna metod prestandan hos de befintliga liknande metoderna för audiovisuell matchning som använder 3D CNN för funktionsrepresentation. Vi visar också att en effektiv parurvalsmetod avsevärt kan öka prestandan. Den föreslagna metoden leder till relativa förbättringar på över 20 % av nivån för lika fel (EER) och över 7 % av den genomsnittliga precisionen (AP) jämfört med den senaste metoden.
Torfi m.fl. I REF föreslogs ett 3D-CNN för ömsesidigt erkännande av audiovisuella matchningar.
3D Convolutional Neural Networks for Cross Audio-Visual Matching Recognition
{'venue': 'IEEE Access (Year: 2017, Volume: PP, Issue: 99 )', 'journal': None, 'mag_field_of_study': ['Computer Science']}