Automatiskt generera naturliga språkbeskrivningar av videor spelar en grundläggande utmaning för datorseende gemenskap. De senaste framstegen i detta problem har gjorts genom att använda för att koda videoinnehåll och Recurrent Neural Networks (RNNs) för att avkoda en mening. I den här artikeln presenterar vi Long Short-Term Memory with Transferred Semantic Attribut (LSTM-TSA)-en ny djup arkitektur som innehåller de överförda semantiska attributen inlärda från bilder och videor i CNN plus RNN-ramverket, genom att utbilda dem på ett slut-till-slut sätt. Designen av LSTM-TSA är mycket inspirerad av fakta att 1) semantiska attribut spelar ett betydande bidrag till bildtext, och 2) bilder och videor bär kompletterande semantik och därmed kan förstärka varandra för bildtextning. För att öka videons bildtext föreslår vi en ny överföringsenhet för att modellera de ömsesidigt korrelerade attribut som man lärt sig från bilder och videor. Omfattande experiment utförs på tre offentliga dataset, dvs. MSVD, M-VAD och MPII-MD. Vår föreslagna LSTM-TSA uppnår hittills bästa publicerade prestanda i meningsgenerering på MSVD: 52,8% och 74,0% i termer av BLEU@4 och CIDER-D. Överlägsna resultat rapporteras också om M-VAD och MPII-MD jämfört med state-of-the-art metoder.
En överföringsenhet är utformad i REF för att överföra information om semantiska attribut från bild och video för att öka videotextning.
Video Captioning with Transferred Semantic Attributes
{'venue': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}