I denna uppsats beskriver vi systemet för att generera textbeskrivningar av korta videoklipp med hjälp av återkommande neurala nätverk, som vi använde när vi deltog i Large Scale Movie Description Challenge 2015 i ICCV 2015. Vårt arbete bygger på statiskt bildtextsystem som föreslås i [22] och implementeras i [8] och utökar detta ramverk till videor som använder både statiska bildfunktioner och videospecifika funktioner. Dessutom studerar vi nyttan av visuella innehållsklassificeringar som en källa till ytterligare information för bildtextgenerering. Med experimentella resultat visar vi att användning av nyckelframe-baserade funktioner, tät bana videofunktioner och innehåll klassificerare utgångar tillsammans ger bättre prestanda än någon av dem individuellt. Vi släpper också källkoden för vårt arbete online 3.
Shetty m.fl. REF, vinnare av Description och Förstå Video & The Large Scale Movie Description Challenge (LSMDC) vid ICCV 2015, extraherade funktioner på tre nivåer.
Video captioning with recurrent networks based on frame- and video-level features and visual content classification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}