Detta dokument bidrar till automatisk klassificering och lokalisering av mänskliga handlingar i video. Medan rörelse är den viktigaste ingrediensen i moderna metoder, bedömer vi fördelarna med att ha föremål i videorepresentationen. I stället för att överväga en handfull noggrant utvalda och lokaliserade objekt, genomför vi en empirisk studie om nyttan med att koda in 15 000 objektkategorier för åtgärder med hjälp av 6 datauppsättningar totalt mer än 200 timmar video och täcker 180 aktionsklasser. Våra viktigaste bidrag är i) den första fördjupade studien av kodning av objekt för handlingar, ii) vi visar att objekt spelar roll för handlingar, och är ofta semantiskt relevant också. iii) Vi fastställer att åtgärder har objekt preferenser. I stället för att använda alla objekt är valet fördelaktigt för åtgärdsigenkänning. iv) Vi avslöjar att objektaktivitetsrelationer är generiska, vilket gör det möjligt att överföra dessa relationer från den ena domänen till den andra. Och, v) objekt, i kombination med rörelse, förbättra state-of-the-art för både åtgärdsklassificering och lokalisering.
Fördelarna med att ha objekt i videorepresentationen för åtgärdsklassificering presenteras i REF.
What do 15,000 object categories tell us about classifying and localizing actions?
{'venue': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'journal': '2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)', 'mag_field_of_study': ['Computer Science']}