Att automatiskt beskriva videoinnehåll med naturligt språk är en grundläggande utmaning för datorseendet. Recurrent Neural Networks (RNN), som modellerar sekvensdynamik, har fått ökad uppmärksamhet på visuell tolkning. De flesta befintliga metoder genererar dock ett ord lokalt med de givna tidigare orden och det visuella innehållet, medan förhållandet mellan meningsemantik och visuellt innehåll inte utnyttjas holistiskt. Som ett resultat av detta kan de skapade meningarna vara kontextuellt korrekta, men semantiken (t.ex. subjekt, verb eller objekt) är inte sann. Denna uppsats presenterar en ny enhetlig ram, kallad Long Short-Term Memory med visuell-semantiska Embedding (LSTM-E), som samtidigt kan utforska lärandet av LSTM och visuell-semantiska inbäddning. Det förstnämnda syftar till att lokalt maximera sannolikheten för att generera nästa ord givet tidigare ord och visuellt innehåll, medan det senare är att skapa en visuell-semantisk inbäddning utrymme för att upprätthålla förhållandet mellan semantiken i hela meningen och visuellt innehåll. Experimenten på YouTube2Text dataset visar att vår föreslagna LSTM-E uppnår den bästa publicerade prestandan när det gäller att generera naturliga meningar: 45,3% och 31,0% när det gäller BLEU@4 respektive METEOR. Överlägsen prestanda redovisas också på två filmbeskrivningsdataset (M-VAD och MPII-MD). Dessutom visar vi att LSTM-E överträffar flera toppmoderna tekniker för att förutsäga Subject-Verb-Object (SVO) trillingar.
REF föreslog att man samtidigt skulle lära sig RNN-ordet sannolikheter och ett visuellt semantiskt gemensamt inbäddat utrymme som upprätthåller förhållandet mellan semantiken i hela meningen och det visuella innehållet.
Jointly Modeling Embedding and Translation to Bridge Video and Language
{'venue': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}