Att erkänna manipulationer utförda av en människa och överföring och utförande av detta av en robot är ett svårt problem. Vi tar upp detta i den aktuella studien genom att införa en ny representation av förhållandet mellan objekt vid avgörande tidpunkter under en manipulation. Därmed kodar vi de väsentliga förändringarna i ett visuellt landskap på ett kondenserat sätt så att en robot kan känna igen och lära sig en manipulering utan föregående objektkunskap. För att uppnå detta spårar vi kontinuerligt bildsegment i videon och konstruerar en dynamisk grafsekvens. Topologiska övergångar av dessa grafer inträffar när ett rumsligt samband mellan vissa segment har förändrats på ett okontinuerligt sätt och dessa ögonblick lagras i en övergångsmatris som kallas den semantiska händelsekedjan (SEC). Vi visar att dessa tidpunkter är mycket beskrivande för att skilja mellan olika manipulationer. Använda enkla sub-sträng sökalgoritmer, SECs kan jämföras och typ liknande manipulationer kan erkännas med stort förtroende. Eftersom metoden är generisk, kan statistisk inlärning användas för att hitta den arketypiska SEC av en given manipulation klass. Algoritmens prestanda visas på en uppsättning riktiga videor som visar händer som manipulerar olika objekt och utför olika handlingar. I experiment med en robotisk arm, visar vi att SEC kan läras genom att observera mänskliga manipulationer, överföras till ett nytt scenario, och sedan reproduceras av maskinen.
Aksoy m.fl. REF konstruera en dynamisk grafsekvens av spårade bildsegment från mänskliga demonstrationer och denna representation används av roboten för att manipulera objekt.
Learning the semantics of object–action relations by observation
{'venue': None, 'journal': 'The International Journal of Robotics Research', 'mag_field_of_study': ['Computer Science']}