I detta dokument behandlas problemet med att beskriva visuellt innehåll i en videosekvens med naturligt språk. Till skillnad från tidigare videotextning arbete främst utnyttja signalerna i videoinnehåll för att göra en språkbeskrivning, föreslår vi ett återuppbyggnadsnätverk (RecNet) med en ny kodare-dekoder-rekonstruktion arkitektur, som utnyttjar både framåt (video till mening) och bakåt (sentens till video) flöden för videotextning. Specifikt använder kodaren framåtflödet för att producera meningsbeskrivningen baserad på de kodade videosemantiska funktionerna. Två typer av rekonstruerare är anpassade för att använda det bakåtgående flödet och reproducera videofunktioner baserat på den dolda tillståndssekvens som genereras av dekoder. Den generationsförlust som encoder-dekodern ger upphov till och den återuppbyggnadsförlust som rekonstruktören inför dras gemensamt in i utbildningen av det föreslagna RecNet på ett end-to-end-sätt. Experimentella resultat på referensdataset visar att den föreslagna rekonstrueraren kan öka enkoder-dekoder modellerna och leder till betydande vinster i video bildtext noggrannhet.
I REF ) föreslogs ett nytt encoder-decoderrestruction nätverk för att utnyttja både framåt och bakåt flöden för videotextning.
Reconstruction Network for Video Captioning
{'venue': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'journal': '2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}