Lärande åtgärder från mänsklig demonstration är en framväxande trend för att utforma intelligenta robotsystem, som kan kallas video till kommando. Resultaten av ett sådant tillvägagångssätt är i hög grad beroende av videotexternas kvalitet. Men de allmänna videotextmetoderna fokuserar mer på förståelsen av hela ramen, utan hänsyn till det specifika föremålet för intressen i robotiska manipulationer. Vi föreslår en ny djup modell för att lära sig åtgärder från mänskliga demonstrationsvideor för robotmanipulering. Den består av två djupa nätverk, ta tag i detektionsnät (GNet) och videotextningsnät (CNet). GNet utför två funktioner: ger grepplösningar och extraherar de lokala funktionerna för föremålet för intressen i robotisk manipulation. CNet utdata bildtext resultat genom att sammanfoga funktionerna i både helramar och lokala objekt. Experimentella resultat på UR5-robotarm visar att vår metod kan ge mer exakt styrning från videodemonstration än toppmodernt arbete, vilket leder till mer robust greppförmåga.
I arbetet av Shuo Yang REF, en ny djup modell baserad på grepp detektion nätverk och video bildtexting nätverk föreslås för att lära sig att reproducera stapling block och placera frukt uppgifter.
Learning Actions from Human Demonstration Video for Robotic Manipulation
{'venue': '2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'journal': '2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)', 'mag_field_of_study': ['Computer Science']}