Abstract-Människor tittar ofta på videor på webben för att lära sig att laga nya recept, montera möbler eller reparera en dator. Vi vill aktivera robotar med samma förmåga. Detta är utmanande; det finns en stor variation i manipulering åtgärder och vissa videor involverar även flera personer, som samarbetar genom att dela och utbyta objekt och verktyg. Dessutom måste de inlärda representationerna vara tillräckligt allmänna för att kunna överföras till robotsystem. Tidigare system har möjliggjort generering av semantiska och mänskliga-tolkbara robotkommandon i form av visuella meningar. De kräver dock manuellt urval av korta actionklipp, som sedan bearbetas individuellt. Vi föreslår ett ramverk för att utföra demonstrerade actionsekvenser från fulllånga, okonstruerade videor på webben. Ramen tar som indata en video kommenterad med objektetiketter och avgränsande rutor, och resulterar i en samarbetshandlingsplan för en eller flera robotvapen. Vi demonstrerar systemets prestanda i tre hellånga kollaborativa matlagningsvideor på webben och föreslår en opensource-plattform för att genomföra de lärda planerna i en simuleringsmiljö.
Hejia Zhang m.fl. I REF föreslås en ram för att utföra samarbetsmanipuleringsuppgifter som inhämtats från videor med full längd på webbplatsen och som bygger på objektigenkänning.
Robot Learning and Execution of Collaborative Manipulation Plans from YouTube Cooking Videos
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Engineering', 'Computer Science']}