Vi studerar en ny arkitektur och utbildning för locomotion uppgifter. En högfrekvent, låg-nivå "spinal" nätverk med tillgång till proprioceptiva sensorer lär sensorimotoriska primitiver genom att träna på enkla uppgifter. Denna förtränade modul är fast och ansluten till en lågfrekvent, hög nivå "kortikal" nätverk, med tillgång till alla sensorer, som driver beteende genom att modulera ingångarna till spinalnätverket. Om en monolitisk end-to-end arkitektur misslyckas helt, lärande med en förtränad spinal modul lyckas på flera hög nivå uppgifter, och gör det möjligt att effektivt utforska som krävs för att lära sig av glesa belöningar. Vi testar vår föreslagna arkitektur på tre simulerade kroppar: en 16-dimensionell simorm, en 20-dimensionell fyrkantig och en 54-dimensionell humanoid (se bifogad video).
REF använder också ett system med en styrenhet på hög nivå och en styrenhet på låg nivå, men styrenheten på hög nivå sänder kontinuerligt en moduleringssignal till styrenheten på låg nivå, vilket påverkar dess policy.
Learning and Transfer of Modulated Locomotor Controllers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}