Vi föreslår en ny noll-shot Event Detection metod med Multi-modal Distributional Semantic inbäddning av videor. Vår modell bäddar in objekt och handlingskoncept samt andra tillgängliga modaliteter från videor till ett distributionssemantiskt utrymme. Enligt vår kunskap är detta den första Zero-Shot händelse detektion modell som bygger på distributionssemantik och utvidgar den i följande riktningar: a) semantisk inbäddning av multimodal information i videor (med fokus på visuella metoder), b) automatiskt bestämma relevansen av begrepp / attribut till en fri text fråga, som kan vara användbart för andra tillämpningar, och c) hämta videor genom fri text händelse fråga (t.ex. "ändra ett fordon däck") baserat på deras innehåll. Vi bäddade in videor i ett distributionssemantiskt utrymme och mäter sedan likheten mellan videor och händelseförfrågan i en fritextform. Vi validerade vår metod på den stora TRECVID MED (Multimedia Event Detection) utmaningen. Med endast händelsetiteln som fråga, överträffade vår metod den senaste tekniken som använder stora beskrivningar från 12,6 % till 13,5 % med MAP metrisk och 0,73 till 0,83 med ROC-AUC metrisk. Det är också en storleksordning snabbare.
I REF istället för att beräkna konceptrelaterade händelse- och videovektorer inbäddas både videor och händelsefrågor i ett fördelningssemantiskt utrymme, sedan mäts likheten mellan dessa representationer.
Zero-Shot Event Detection by Multimodal Distributional Semantic Embedding of Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}