Prospektering är nyckeln till att lösa utmanande problem i nya miljöer, men det har inte varit djupt utforskat som tillämpas på uppgiftsplanering för perception-driven robotik. Vi föreslår visuell robotuppgiftsplanering, där vi tar in en ingångsbild och måste generera en sekvens av åtgärder på hög nivå och tillhörande observationer som uppnår en viss uppgift. I detta dokument beskriver vi en neural nätverksarkitektur och tillhörande planeringsalgoritm som (1) lär sig en representation av världen som kan generera framtida framtider, (2) använder denna generativa modell för att simulera resultatet av sekvenser av åtgärder på hög nivå i en mängd olika miljöer, och (3) utvärderar dessa åtgärder via en variant av Monte Carlo Tree Search för att hitta en hållbar lösning på ett visst problem. Vårt tillvägagångssätt gör att vi kan visualisera mellanliggande rörelsemål och lära oss att planera komplex aktivitet från visuell information, och använde detta för att generera och visualisera uppgiftsplaner på hållna-ut exempel på en block-stacking simulering.
Dessutom är vår strategi kompatibel med arbete i Visual Robot Task Planning REF, som visar att potentiella subgoal förutsägelser kan användas för att generera aktivitetsplaner.
Visual Robot Task Planning
{'venue': '2019 International Conference on Robotics and Automation (ICRA)', 'journal': '2019 International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}