Abstract-Till skillnad från traditionella tredje person kameror monterade på robotar, en första person kamera, fångar en persons visuella sensorimotoriska objekt interaktioner från på nära håll. I den här artikeln studerar vi det täta samspelet mellan vår tillfälliga visuella uppmärksamhet och motoriska åtgärder med föremål från en förstapersonskamera. Vi föreslår ett koncept av handling-objekt-de objekt som fångar personens medvetna visuella (titta på en TV) eller taktil (ta en kopp) interaktioner. Åtgärdsobjekt kan vara uppgiftsberoende, men eftersom många uppgifter har gemensamma rumsliga konfigurationer för personobjekt, uppvisar åtgärdsobjekt ett karakteristiskt rumsligt 3D-avstånd och orientering med avseende på personen. Vi designar en prediktiv modell som upptäcker action-objekt med EgoNet, ett gemensamt två-stream nätverk som holistiskt integrerar visuellt utseende (RGB) och 3D rumslig layout (djup och höjd) signaler för att förutsäga per-pixel sannolikheten för åtgärder-objekt. Vårt nätverk innehåller också en första persons koordinat inbäddning, som är utformad för att lära sig en rumslig fördelning av actionobjekten i förstapersonsdata. Vi demonstrerar EgoNets prediktiva kraft, genom att visa att den konsekvent överträffar tidigare baslinjestrategier. Dessutom uppvisar EgoNet också en stark generaliseringsförmåga, d.v.s. den förutsäger semantiskt meningsfulla objekt i nya förstapersonsdatauppsättningar. Vår metods förmåga att effektivt upptäcka åtgärdsobjekt kan användas för att förbättra robotarnas förståelse för människa-objekt-interaktioner.
EgoNet REF detekterar "åtgärdsobjekt", dvs. objekt kopplade till visuella eller taktila interaktioner, från förstaperson RGB-D bilder.
First Person Action-Object Detection with EgoNet
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}