bör vara känslig för tidsstruktur och tillåta både inmatning (sekvens av ramar) och utgång (följd av ord) av variabel längd. För att närma sig detta problem föreslår vi en ny end-to-end sekvens-to-sekvens-modell för att generera bildtexter för videor. För detta utnyttjar vi återkommande neurala nätverk, särskilt LSTMs, som har visat toppmodern prestanda i bildtextgenerering. Vår LSTM-modell är utbildad på video-sentence par och lär sig att koppla en sekvens av videoramar till en sekvens av ord för att generera en beskrivning av händelsen i videoklippet. Vår modell kan naturligtvis lära sig temporal struktur av sekvensen av ramar samt sekvensen modell av de genererade meningar, dvs... En språkmodell. Vi utvärderar flera varianter av vår modell som utnyttjar olika visuella funktioner på en standarduppsättning YouTube-videor och två filmbeskrivningsdataset (M-VAD och MPII-MD).
REF föreslår en endto-end sekvens-till-sekvens-modell för att skapa textning för videoinspelningar.
Sequence to Sequence -- Video to Text
{'venue': '2015 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2015 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}