Vi tar itu med problemet med video objekt codetection genom att utnyttja svaga semantiska begränsningar underförstått av meningar som beskriver videons innehåll. Till skillnad från de flesta befintliga verk som fokuserar på codetacting stora objekt som vanligtvis är framträdande både i storlek och utseende, kan vi codetect objekt som är små eller medelstora. Också vår metod förutsätter ingen mänsklig pose eller djup information som utnyttjas av den senaste state-of-the-art metoden. Vi använder svaga semantiska begränsningar på codetektionsprocessen genom att para ihop videon med meningar. Även om den semantiska informationen vanligtvis är enkel och svag, kan den avsevärt öka prestandan hos vårt codetection-ramverk genom att minska sökområdet för de hypothesized objektdetekteringer. Vårt experiment visar en genomsnittlig IoU poäng på 0.43 på en ny utmanande datauppsättning som innehåller 15 distinkta objekt klasser och 150 videor med 12.509 ramar totalt.
REF-grundade objekt i begränsade videor genom att utnyttja svaga semantiska begränsningar underförstådda av en sekvens av meningar.
Sentence Directed Video Object Codetection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}