Vi föreslår en högnivå koncept orddetektor som kan integreras med alla video-till-språk modeller. Det tar en video som indata och genererar en lista över begreppsord som användbara semantiska priors för språkgenerationsmodeller. Den föreslagna orddetektorn har två viktiga egenskaper. För det första krävs inga externa kunskapskällor för utbildning. För det andra är den föreslagna orddetektorn vidareutbildningsbar i end-to-end-form tillsammans med alla video-to-language-modeller. För att effektivt utnyttja de upptäckta orden utvecklar vi också en semantisk uppmärksamhetsmekanism som selektivt fokuserar på de upptäckta begreppsorden och kombinerar dem med ordkodning och avkodning i språkmodellen. För att visa att det föreslagna tillvägagångssättet verkligen förbättrar utförandet av flera video-till-språk uppgifter, deltar vi i alla de fyra uppgifterna för LSMDC 2016 [22]. Vår strategi har vunnit tre av dem, inklusive fill-in-theblank, flervals test, och film hämtning.
Yu m.fl. REF antog en semantisk uppmärksamhetsmekanism som kombinerar de upptäckta begreppen i videor med textkodning/avkodning för att generera svar.
End-to-end Concept Word Detection for Video Captioning, Retrieval, and Question Answering
{'venue': 'The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017, pp. 3165-3173', 'journal': None, 'mag_field_of_study': ['Computer Science']}