Vi siktar på noll-shot lokalisering och klassificering av mänskliga handlingar i video. När traditionella metoder bygger på globala attribut eller objektklassificeringspoäng för deras kunskapsöverföring utan skott, är vårt huvudsakliga bidrag ett rumsligt-medveten objekt inbäddning. För att komma fram till rumslig medvetenhet bygger vi våra inbäddningar ovanpå fritt tillgängliga aktörs- och objektdetektorer. Relevansen av objekt bestäms i ett ord som inbäddar utrymme och ytterligare genomdrivs med uppskattade rumsliga preferenser. Förutom lokal objektmedvetenhet bäddar vi också in global objektmedvetenhet i vårt inbäddande för att maximera skådespelare och objektinteraktion. Slutligen utnyttjar vi objektpositioner och storlekar i den rumsliga-medvetna inbäddning för att demonstrera en ny spatiotemporal åtgärd hämtning scenario med sammansatta frågor. Åtgärd lokalisering och klassificering experiment på fyra samtida åtgärder video dataset stöder vårt förslag. Bortsett från state-of-the-art resultat i noll-shot lokalisering och klassificeringsinställningar, vår rumsliga-medvetna inbäddning är även konkurrenskraftig med nyligen övervakade åtgärder lokalisering alternativ.
Spatial-aware objekt inbäddning är ytterligare utformad för noll-shot lokalisering och klassificering av åtgärder REF.
Spatial-Aware Object Embeddings for Zero-Shot Localization and Classification of Actions
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}