På minut-till-minut-basis genomgår människor många flytande interaktioner med objekt som knappt registrerar sig på en medveten nivå. Den senaste tidens neurovetenskapliga forskning visar att människor har en fast storlek före för framträdande objekt. Detta tyder på att ett framträdande objekt i 3D genomgår en konsekvent omvandling så att människors visuella system uppfattar det med en ungefär fast storlek. Detta fynd visar att det finns ett konsekvent egocentriskt objekt som kan karakteriseras av form, storlek, djup och plats i första personvyn. I detta papper utvecklar vi en EgoObject Representation, som kodar dessa egenskaper genom att införliva form, läge, storlek och djup funktioner från en egocentrisk RGBD-bild. Vi visar empiriskt att denna representation exakt kan karakterisera det egocentriska objektet innan genom att testa det på en egocentrisk RGBD-datauppsättning för tre uppgifter: 3D-lägsenhetsdetektering, framtidsförutsägelse och interaktionsklassificering. Denna representation är utvärderad på vår nya Egocentric RGBD Saliency dataset som innehåller olika aktiviteter såsom matlagning, middag, och shopping. Genom att använda vår EgoObject-representation överträffar vi tidigare föreslagna modeller för saliency detektion (relativ 30% förbättring för 3D saliency detektion uppgift) på vår datauppsättning. Dessutom visar vi att denna representation gör att vi kan förutsäga framtida framträdande objekt baserat på blicken och klassificera människors interaktioner med objekt.
Bertasius m.fl. utvecklade en EgoObject Representation, som kodar dessa egenskaper genom att inkorporera form, läge, storlek och djup funktioner från en egocentrisk RGB-D-bild, och tränade en slumpmässig skogs regressator för att förutsäga hållbarheten i en region med hjälp av mark-sanning Salient objekt REF.
Exploiting Egocentric Object Prior for 3D Saliency Detection
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}