I videotextningsuppgiften har den bästa praxisen uppnåtts genom uppmärksamhetsbaserade modeller som förknippar framträdande visuella komponenter med meningar i videon. Befintliga studier följer dock ett gemensamt förfarande som inkluderar en frame-level utseende modellering och rörelse modellering på lika intervall ramprovtagning, vilket kan ge upphov till överflödig visuell information, känslighet för innehållsbuller och onödiga beräkningskostnader. Vi föreslår en plug-and-play PickNet att utföra informativ ram plockning i videotextning. Baserat på en standard Encoder-Decoder ram, utvecklar vi en förstärkning-lärande-baserad procedur för att utbilda nätverket sekventiellt, där belöningen för varje ram plocka åtgärd är utformad genom att maximera visuell mångfald och minimera text diskrepans. Om kandidaten belönas kommer den att väljas ut och motsvarande latent representation av Encoder-Decoder kommer att uppdateras för framtida försök. Detta förfarande pågår till slutet av videosekvensen. Följaktligen kan en kompakt ram delmängd väljas för att representera den visuella informationen och utföra videotextning utan prestandanedbrytning. Experimentella resultat visar att vår modell kan använda 6 och 8 ramar för att uppnå konkurrenskraftiga resultat över populära riktmärken.
Mot effektivitet och en mer kompakt representation av videor, Chen et al. I REF föreslogs en metod för att stärka inlärningen för att välja några nyckelramar för att generera videotext.
Less Is More: Picking Informative Frames for Video Captioning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}