Med de senaste framstegen i AI, Intelligent Virtual Assistants (IVA) har blivit en allestädes närvarande del av varje hem. Framöver bevittnar vi en sammanflätning av syn-, tal- och dialogsystemteknik som gör det möjligt för IVA att lära sig audiovisuell grund av uttalanden och ha samtal med användare om föremål, aktiviteter och händelser som omger dem. Som en del av den 7: e Dialog System Technology Challenges (DSTC7), för Audio Visual Scene-Aware Dialog (AVSD) spår, Vi utforskar "ämnen" i dialogrutan som en viktig kontextuell funktion i arkitekturen tillsammans med utforskningar kring multimodal uppmärksamhet. Vi införlivar också en end-to-end ljudklassificering ConvNet, AclNet, i våra modeller. Vi presenterar en detaljerad analys av experimenten och visar att några av våra modellvariationer överträffar det baslinjesystem som presenteras för denna uppgift.
Den end-to-end ljudklassificering ConvNet och AclNet är införlivade i video-grundad dialogmodell på REF.
Context, Attention and Audio Feature Explorations for Audio Visual Scene-Aware Dialog
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}