Abstract-Vårt mål är att automatisera förståelsen av naturliga hand-objekt manipulation genom att utveckla dator visionbaserade tekniker. Vår hypotes är att det är nödvändigt att modellera grepp typ av händer och attribut manipulerade objekt för att korrekt känna igen manipulation åtgärder. Speciellt fokuserar vi på att känna igen handgreppstyper, objektattribut och åtgärder från en enda bild inom en enhetlig modell. För det första utforskar vi det sammanhangsmässiga förhållandet mellan grepptyper och objektattribut, och visar hur det sammanhanget kan användas för att öka igenkännandet av både grepptyper och objektattribut. För det andra föreslår vi att modellera åtgärder med grepptyper och objektattribut baserat på hypotesen att förstå typer och objektattribut innehåller kompletterande information för att karakterisera olika åtgärder. Vår föreslagna handlingsmodell överträffar traditionella utseendebaserade modeller som inte är utformade för att ta hänsyn till semantiska begränsningar såsom grepptyper eller objektattribut. Experimentella resultat på offentliga egocentriska aktiviteter datauppsättningar stöder starkt vår hypotes.
I vårt tidigare arbete REF ) tränas ett Bayesianskt nätverk för att automatiskt lära sig det kontextuella förhållandet mellan grepptyper och objektattribut.
Understanding Hand-Object Manipulation with Grasp Types and Object Attributes
{'venue': 'Robotics: Science and Systems', 'journal': None, 'mag_field_of_study': ['Computer Science']}