Abstrakt. Vi presenterar en ny video hämtning system som accepterar kommenterade freehand skisser som frågor. Befintliga skissbaserade videosökningssystem (SBVR) gör det möjligt att söka igenom objektens utseende och rörelser på ett naturligt sätt genom bildrepresentationer. Även om sådana system är visuellt uttrycksfulla, utgör de ett oprecist fordon för att förmedla semantiken (t.ex. objekttyper) inom en scen. Vårt bidrag är att förena textens semantiska rikedom med skissens uttrycksfullhet, att skapa ett hybrid-"semantiskt skiss"-baserat videohämtningssystem. Trajektivextrahering och klusterering tillämpas för att förbehandla varje klipp till en videoobjektrepresentation som vi förstärker med objektklassificering och färginformation. Resultatet är ett system som kan söka videor baserat på önskad färg, rörelseväg och semantiska etiketter av de objekt som finns. Vi utvärderar vårt systems prestanda med hjälp av TSF:s datauppsättning för sändning av sportfilmer.
Denna metod förbättrades i REF som ett hybrid-"semantiskt skiss"-baserat videosökningssystem genom att sammansmälta textens semantik med skissens uttrycksfullhet.
Annotated free-hand sketches for video retrieval using object semantics and motion
{'venue': 'MMM', 'journal': None, 'mag_field_of_study': ['Computer Science']}