För att maskiner som interagerar med den verkliga världen ska kunna föra samtal med användare om föremålen och händelserna runt omkring dem måste de förstå dynamiska audiovisuella scener. Den senaste revolutionen av neurala nätverk modeller gör att vi kan kombinera olika moduler till en enda end-to-end differentiable nätverk. Som ett resultat, Audio Visual Scene-Aware Dialog (AVSD) system för verkliga tillämpningar kan utvecklas genom att integrera toppmodern teknik från flera forskningsområden, inklusive end-to-end dialogteknik, visuella frågor svar (VQA) teknik, och video beskrivning teknik. I det här dokumentet introducerar vi en ny datauppsättning dialoger om videor av mänskliga beteenden, samt en end-to-end Audio Visual Scene-Aware Dialog (AVSD) modell, tränad med hjälp av denna nya datauppsättning, som genererar svar i en dialogruta om en video. Genom att använda funktioner som utvecklats för multimodal uppmärksamhetsbaserad videobeskrivning, förbättrar vårt system kvaliteten på genererad dialog om dynamiska videoscener.
Och nyligen föreslår Ref en modell som införlivar teknik för multimodal uppmärksamhetsbaserad videobeskrivning i ett slut-till-slut dialogsystem.
End-to-end Audio Visual Scene-aware Dialog Using Multimodal Attention-based Video Features
{'venue': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': 'ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Engineering']}