Vi presenterar en metod som lär sig representationer för ordbetydelser från korta videoklipp parade med meningar. Till skillnad från tidigare arbete med att lära sig språk från symbolisk input, består vår input av video av människor som interagerar med flera komplexa objekt i utomhusmiljöer. Till skillnad från tidigare dator-vision metoder som lär sig från videor med verb etiketter eller bilder med substantiv etiketter, våra etiketter är meningar som innehåller substantiv, verb, prepositioner, adjektiv och adverbs. Korrespondensen mellan ord och begrepp i videon lärs in på ett oövervakat sätt, även när videon skildrar samtidiga händelser som beskrivs med flera meningar eller när olika aspekter av en enda händelse beskrivs med flera meningar. Det lärda ordet betydelser kan därefter användas för att automatiskt generera beskrivning av ny video.
En faktoriell dold Markov modell (FHMM) tillämpades för att lära sig betydelsen av substantiv, verb, prepositioner, adjektiv och adverbs från korta videoklipp parade med meningar REF.
Grounded Language Learning from Video Described with Sentences
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}