De flesta tidigare försök till videotextläggning fokuserar på att generera generiska beskrivningar, såsom, "En man pratar." Vi samlar en nyhetsvideo dataset för att generera berikade beskrivningar som inkluderar viktig bakgrundskunskap, såsom namngivna enheter och relaterade händelser, vilket gör det möjligt för användaren att till fullo förstå videoinnehållet. Vi utvecklar ett tillvägagångssätt som använder videometadata för att hämta aktuella nyhetsdokument för en video och extraherar händelserna och namngivna enheter från dessa dokument. Sedan, med tanke på videon samt de extraherade händelser och enheter, skapar vi en beskrivning med hjälp av en Knowledgeaware Video Description nätverk. Modellen lär sig att införliva enheter som finns i de aktuella relaterade dokumenten i beskrivningen via ett enhetspekarnätverk och genereringsförfarandet styrs av händelse- och enhetstyperna från de lokalt relaterade dokumenten genom en kunskapsgrind, som är en gatingmekanism som läggs till modellens dekoder som tar en enhot vektor av dessa typer. Vi utvärderar vår strategi för den nya datauppsättningen av nyhetsvideor som vi har samlat in, fastställer det första riktmärket för denna datauppsättning samt föreslår ett nytt mått för att utvärdera dessa beskrivningar.
REF släpper en kunskapsrik videotext med dataset och föreslår ett nytt nätverk för kunskapsmedveten videobeskrivning.
Incorporating Background Knowledge into Video Description Generation
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}