Att förstå audiovisuellt innehåll och förmågan att ha en informativ konversation om det har båda varit utmanande områden för intelligenta system. Den Audio Visual Scene-aware Dialog (AVSD) utmaning, organiserad som ett spår av Dialog System Technology Challenge 7 (DSTC7), föreslår en kombinerad uppgift, där ett system måste svara på frågor om en video ges en dialog med tidigare frågesvar par och själva videon. Vi föreslår för denna uppgift en hierarkisk kodaresmodell som beräknar en multimodal integrering av dialogsammanhanget. Den lägger först in dialoghistoriken med hjälp av två LSTM. Vi extraherar video- och ljudramar med jämna mellanrum och beräknar semantiska funktioner med hjälp av förtränade I3D- respektive VGGish-modeller. Innan vi sammanfattar båda metoderna i vektorer med fast längd med hjälp av LSTM, använder vi FiLM block för att konditionera dem på inbäddningarna av den nuvarande frågan, vilket gör att vi kan minska dimensionaliteten avsevärt. Slutligen använder vi en LSTM-avkodare som vi tränar med schemalagd provtagning och utvärderar med hjälp av strålsökning. Jämfört med den modality-fusing baslinje modell som släpptes av AVSD utmaning arrangörer, vår modell uppnår en relativ förbättring på mer än 16%, poäng 0,36 BLEU-4 och mer än 33%, poäng 0,997 CIDER.
Inspirerad av FiLM, FiLM Uppmärksamhet Hierarkical Recurrent Encoder-Decoder (FA-HERD) REF föreslås att villkora ljud- och videofunktionerna i fråga för att minska dimensionaliteten avsevärt.
From FiLM to Video: Multi-turn Question Answering with Multi-modal Context
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}