Förståelse av bilder med människor innebär ofta att förstå sitt samspel med andra objekt eller människor. Som sådan, med tanke på en ny bild, bör ett visionssystem dra slutsatsen att andra objekt/personer spelar en viktig roll i en viss persons verksamhet. Befintliga metoder är dock begränsade till att lära sig actionspecifika interaktioner (t.ex. hur posen av en tennisspelare relaterar till positionen för sin racket när du serverar bollen) för förbättrad igenkänning, vilket gör dem outrustade att resonera om nya interaktioner med åtgärder eller objekt som inte observeras i träningsdata. Vi föreslår att förutsäga "interaktionen" i nya bilder - det vill säga att lokalisera föremålet för en persons handling. Med tanke på en godtycklig bild med en upptäckt person är målet att ta fram en översiktskarta som anger de mest sannolika positionerna och skalorna där personens interagerande skulle hittas. I detta syfte utforskar vi sätt att lära oss de allmänna, handlingsoberoende sambanden mellan (a) representationer av en persons pose, blick och scensignaler och (b) interaktionsobjektets position och skala. Vi ger resultat på en nysamlad UT Interactee dataset som spänner över mer än 10 000 bilder från SUN, PASCAL och COCO. Vi visar att den föreslagna interaktionsinformerade Saliency metrisk har praktisk nytta för fyra uppgifter: kontextuell objektdetektering, bild retargeting, förutsäga objektets betydelse, och data-driven naturlig språkscen beskrivning. Alla fyra scenarier visar värdet av att koppla motivet till objektet för att förstå berättelsen om en bild.
Slutligen är vårt arbete också relaterat till REF, som förutsäger syftet med interaktion i bilder.
Subjects and Their Objects: Localizing Interactees for a Person-Centric View of Importance
{'venue': 'International Journal of Computer Vision', 'journal': 'International Journal of Computer Vision', 'mag_field_of_study': ['Computer Science']}