Abstract-Vi introducerar en strategi för att lära mänskliga handlingar som interaktioner mellan personer och objekt i realistiska videor. Tidigare arbete representerar vanligtvis åtgärder med låg nivå funktioner som bildgradienter eller optiskt flöde. Däremot lokaliserar vi uttryckligen i rymden och spår över tiden både objektet och personen, och representerar en handling som banan för objektet w.r.t. till personens ställning. Vår strategi bygger på state-of-the-art tekniker för mänsklig detektion [32], objektdetektion [10], och spårning [39]. Vi visar att detta resulterar i mänskliga och objekt spår av tillräcklig kvalitet för att modellera och lokalisera mänskliga objekt interaktioner i realistiska videor. Vår människa-objekt interaktion funktioner fånga den relativa banan av objektet w.r.t. Människan. Experimentella resultat på Coffee and Cigarettes dataset [25], videodatauppsättningen [19], och Rochester Daily Activities dataset [29] visar att 1) vår explicita mänskliga objektmodell är en informativ signal för handlingsigenkänning; 2) den kompletterar traditionella lågnivådeskriptorer såsom 3D-HOG [23] extraherade över mänskliga spår. Vi visar att kombinera våra mänskliga objekt interaktionsfunktioner med 3D-HOG förbättrar jämfört med deras individuella prestanda samt över state of the art [23], [29].
I REF detekteras människan och objekten först och sedan beskrivs deras interaktioner.
Explicit Modeling of Human-Object Interactions in Realistic Videos
{'venue': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'journal': 'IEEE Transactions on Pattern Analysis and Machine Intelligence', 'mag_field_of_study': ['Computer Science', 'Medicine']}