Abstract-Reinforcement lärande (RL) kan automatisera en mängd olika robotiska färdigheter, men att lära sig varje ny färdighet kräver betydande verkliga datainsamling och manuell representation teknik för att utforma politiska klasser eller funktioner. Med hjälp av djup förstärkning inlärning för att träna allmänna ändamål neurala nätverk politik lindrar en del av bördan av manuell representation teknik genom att använda expressiva policy klasser, men förvärrar utmaningen med datainsamling, eftersom sådana metoder tenderar att vara mindre effektiva än RL med lågdimensionella, handgjorda representationer. Överför lärande kan lindra detta problem genom att göra det möjligt för oss att överföra information från en färdighet till en annan och till och med från en robot till en annan. Vi visar att neurala nätverkspolicyer kan brytas ned i "task-specifika" och "robotspecifika" moduler, där de uppgiftsspecifika modulerna delas mellan robotar, och robotspecifika moduler delas över alla uppgifter på roboten. Detta möjliggör utbyte av uppgiftsinformation, t.ex. perception, mellan robotar och utbyte av robotinformation, t.ex. dynamik och kinematik, mellan uppgifter. Vi utnyttjar denna nedbrytning för att träna mix-and-match moduler som kan lösa nya robot-task kombinationer som inte sågs under utbildningen. Med hjälp av en ny metod för att träna modulära neurala nätverk, visar vi effektiviteten i vår överföringsmetod för att möjliggöra noll-shot generalisering med en mängd olika robotar och uppgifter i simulering för både visuella och icke-visuella uppgifter.
Detta arbete är närmast relaterat till REF som bryter ner policyn i uppgifts- och robotspecifika moduler.
Learning modular neural network policies for multi-task and multi-robot transfer
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Mathematics', 'Computer Science']}