Videotextning, uppgiften att beskriva innehållet i en video, har sett några lovande förbättringar under de senaste åren med sekvens-till-sekvens modeller, men exakt lära sig temporal och logisk dynamik som ingår i uppgiften fortfarande är en utmaning, särskilt med tanke på bristen på tillräckliga kommenterade data. Vi förbättrar videotextning genom att dela kunskap med två relaterade riktad generation uppgifter: en tidsstyrd oövervakad video förutsägelse uppgift att lära sig rikare sammanhang-medveten video kodare representationer, och en logiskt styrd språk innebär generation uppgift att lära sig bättre video-inhägnad bildtext dekoder representationer. För detta presenterar vi en många-till-många multi-task lärande modell som delar parametrar över kodare och avkodare av de tre uppgifterna. Vi uppnår betydande förbättringar och den nya state-of-art på flera standard videotextning dataset med hjälp av olika automatiska och mänskliga utvärderingar. Vi visar också på ömsesidiga förbättringar av flera uppgifter när det gäller arbetet med att skapa behov.
Utvecklingen av sekvens-till-sekvens modeller möjliggör väl fungerande video bildtext modeller genom att helt enkelt använda temporal bildinformation REF.
Multi-Task Video Captioning with Video and Entailment Generation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}