Att förstå mänskliga aktiviteter och objektförmögenhet är två mycket viktiga färdigheter, särskilt för personliga robotar som arbetar i mänskliga miljöer. I detta arbete överväger vi problemet med att extrahera en beskrivande märkning av sekvensen av underaktiviteter som utförs av en människa, och ännu viktigare, av deras interaktioner med objekten i form av tillhörande förmåner. Med tanke på en RGB-D-video modellerar vi gemensamt de mänskliga aktiviteterna och objektförmögenheterna som ett slumpmässigt fält i Markov där noderna representerar objekt och underaktiviteter, och kanterna representerar förhållandet mellan objektförmögenhet, deras förhållande till underaktiviteter, och deras utveckling över tiden. Vi formulerar inlärningsproblem med hjälp av en strukturstöd vektor maskin (SSVM) metod, där märkningar över olika alternativa temporal segmenteringar betraktas som latenta variabler. Vi testade vår metod på en utmanande datauppsättning bestående av 120 aktivitetsvideor samlade från 4 personer och fick en noggrannhet på 79,4% för råd, 63,4% för subaktivitet och 75,0% för hög aktivitetsmärkning. Vi demonstrerar sedan användningen av en sådan beskrivande märkning för att utföra hjälpuppgifter av en PR2-robot.
På liknande sätt, Koppula et al. REF syftade till att gemensamt lära sig mänskliga aktiviteter och objektförmögenhet genom att definiera ett Markov Random Field (MRF) med två typer av noder som motsvarar objekten och delaktiviteterna.
Learning human activities and object affordances from RGB-D videos
{'venue': None, 'journal': 'The International Journal of Robotics Research', 'mag_field_of_study': ['Engineering', 'Computer Science']}