Vi presenterar vår underkastelse till Microsoft Video to Language Challenge att generera korta bildtexter som beskriver videor i utmaningen dataset. Vår modell är baserad på encoder-dekoder pipeline, populär i bild- och videotextningssystem. Vi föreslår att använda två olika typer av videofunktioner, en för att fånga videoinnehållet i termer av objekt och attribut, och den andra för att fånga rörelse- och actioninformation. Med hjälp av dessa olika funktioner utbildar vi modeller som specialiserar sig på två separata indata underdomäner. Vi utbildar sedan en utvärderare modell som används för att välja den bästa bildtexten från den pool av kandidater som genereras av dessa domän expertmodeller. Vi hävdar att detta tillvägagångssätt är bättre lämpat för nuvarande videotextning uppgift, jämfört med att använda en enda modell, på grund av mångfalden i datasetet. Effekten av vår metod bevisas av det faktum att den bedömdes bäst i MSR Video to Language Challenge, enligt mänsklig utvärdering. Dessutom rangordnades vi på andra plats i den automatiska utvärderingstabellen.
REF strävar efter att extrahera både objektattribut och actionfunktioner i videon.
Frame- and Segment-Level Features and Candidate Pool Evaluation for Video Caption Generation
{'venue': "MM '16", 'journal': None, 'mag_field_of_study': ['Computer Science']}