I det här dokumentet tar vi itu med problemet med att hämta videor med komplexa frågor om naturligt språk. Mot detta mål tolkar vi först de sendiella beskrivningarna i en semantisk graf, som sedan matchas med visuella begrepp med hjälp av en generaliserad bipartitmatchande algoritm. Vårt tillvägagångssätt utnyttjar objektets utseende, rörelse och rumsliga relationer, och lär sig vikten av varje term med hjälp av strukturförutsägelse. Vi visar effektiviteten i vår strategi på en ny datauppsättning avsedd för semantisk sökning i samband med autonom körning, som uppvisar komplexa och mycket dynamiska scener med många objekt. Vi visar att vår strategi kan lokalisera en stor del av de objekt som beskrivs i frågan med hög noggrannhet, och förbättra relevansen i videohämtning.
När det gäller videosökning, Lin et al. REF tolkade meningsbeskrivningarna i en semantisk graf, som sedan matchas med visuella begrepp i videorna genom generaliserad bipartitmatchning.
Visual Semantic Search: Retrieving Videos via Complex Textual Queries
{'venue': '2014 IEEE Conference on Computer Vision and Pattern Recognition', 'journal': '2014 IEEE Conference on Computer Vision and Pattern Recognition', 'mag_field_of_study': ['Computer Science']}