Med ökad information från sociala medier finns det fler och fler videor tillgängliga. Därför är möjligheten att resonera på en video viktig och förtjänar att diskuteras. Dialogen System Technology Challenge (DSTC7) (Yoshino et al. 2018) föreslog en Audio Visual Scene-aware Dialog (AVSD) uppgift, som innehåller fem metoder inklusive video, dialog historia, sammanfattning, och bildtext, som en scenmedveten miljö. I detta dokument föreslår vi entropyenhanced dynamic memory network (DMN) för att effektivt modellera videomodaliteten. Den uppmärksamhetsbaserade GRU i den föreslagna modellen kan förbättra modellens förmåga att förstå och memorera sekventiell information. Entropimekanismen kan styra uppmärksamhetsdistributionen högre, så att varje svarsfråga kan fokusera mer specifikt på en liten uppsättning videosegment. Efter den entropy-förstärkta DMN säkrar videon sammanhang, tillämpar vi en uppmärksamhet modell som innehåller sammanfattning och bildtext för att generera ett korrekt svar med tanke på frågan om videon. I den officiella utvärderingen kan vårt system uppnå förbättrad prestanda mot den utgivna utgångsmodellen för både subjektiva och objektiva utvärderingsmått.
REF lägger till entropi till förlustfunktionen för att göra den glesa distributionen mer specifikt fokusera på en liten uppsättning videosegment i VQA-uppgiften.
Entropy-Enhanced Multimodal Attention Model for Scene-Aware Dialogue Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}