Videotextning är uppgiften att automatiskt generera en textbeskrivning av åtgärderna i en video. Även om tidigare arbeten (t.ex. Sekvens-till-sekvens modell) har visat lovande resultat i abstraktion en grov beskrivning av en kort video, det är fortfarande mycket utmanande att bildtext en video som innehåller flera finkorniga åtgärder med en detaljerad beskrivning. Detta dokument syftar till att ta itu med utmaningen genom att föreslå en ny hierarkisk förstärkningsram för videotextning, där en högnivå Manager modul lär sig att utforma delmål och en låg nivå Arbetarmodul erkänner de primitiva åtgärder för att uppfylla delmål. Med detta kompositionsramverk för att förstärka videotextning på olika nivåer överträffar vår strategi betydligt alla grundläggande metoder på en nyligen införd storskalig datauppsättning för finkornig videotextning. Dessutom har vår icke-sensemble-modell redan uppnått de senaste resultaten på de allmänt använda MSR-VTT-datauppsättningarna. Personen ställer sig upp, lägger påsen på en axel och går ut ur rummet. Bildtext 2: En kvinna äter och delar mat med sin hund. Bildtext nr 3: En kvinna delar mellanmål med en hund.
REF föreslår en hierarkisk förstärkning av inlärningsmetoden, där en chef genererar delmål, en arbetare utför åtgärder på låg nivå och en kritiker avgör om målet uppnås.
Video Captioning via Hierarchical Reinforcement Learning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}