Vi presenterar PRM-RL, en hierarkisk metod för långdistansnavigering uppgift som kombinerar provtagningsbaserad vägplanering med förstärkning lärande (RL) agenter. RL-agenterna lär sig kortsiktiga, punkt-till-punkt-navigeringspolicyer som fångar robotdynamik och uppgiftsbegränsningar utan kunskap om den storskaliga topologin, medan de provtagningsbaserade planerarna ger en ungefärlig karta över utrymmet för möjliga konfigurationer av roboten från vilka kollisionsfria banor som är möjliga för RL-agenterna kan identifieras. Samma RL-medel används för att styra roboten under planeringsriktningen, vilket möjliggör långdistansnavigering. Vi använder de probabilistiska färdplanerna (PRM) för den provtagningsbaserade planeraren. RL-agenterna är konstruerade med hjälp av funktionsbaserade och djupa neurala nätpolicyer i kontinuerliga tillstånds- och aktionsutrymmen. Vi utvärderar PRM-RL på två navigeringsuppgifter med icke-trivial robot dynamik: end-to-end differential drive inomhus navigering i kontorsmiljöer, och flygfrakt leverans i urbana miljöer med lastförskjutning begränsningar. Dessa utvärderingar omfattade både simulerade miljöer och on-robot-tester. Våra resultat visar att navigeringsuppgiften har förbättrats över både RL-agenter på egen hand och traditionella provtagningsbaserade planerare. I inomhusnavigeringsuppgiften fullföljer PRM-RL framgångsrikt upp till 215 m långa banor under bullriga sensorförhållanden, och flygfraktleveransen slutför flygningar över 1000 m utan att bryta mot uppgiftsbegränsningarna i en miljö som är 63 miljoner gånger större än den som används i utbildningen.
Faust m.fl. REF använder en förstärkande inlärningsagent för att lära sig korta, punkt-till-punkt-navigeringspolicyer för 2D- och 3D-åtgärdsytor som fångar robotdynamiken och uppgiftsbegränsningen utan att ta hänsyn till den storskaliga topologin.
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning
{'venue': 'IEEE International Conference on Robotics and Automation (ICRA), 2018', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Engineering']}