Två mindre behandlade frågor om djupt förstärkande lärande är (1) brist på generaliseringsförmåga till nya mål, och (2) data ineffektivitet, dvs., modellen kräver flera (och ofta kostsamma) episoder av försök och fel för att konvergera, vilket gör det opraktiskt att tillämpas på verkliga scenarier. I det här dokumentet tar vi upp dessa två frågor och tillämpar vår modell på målstyrd visuell navigering. För att ta itu med den första frågan föreslår vi en aktörskritisk modell vars politik är en funktion av målet såväl som det nuvarande tillståndet, vilket möjliggör en bättre generalisering. För att ta itu med den andra frågan föreslår vi AI2-THOR-ramverket, som ger en miljö med högkvalitativa 3D-scener och en fysikmotor. Vårt ramverk gör det möjligt för agenter att vidta åtgärder och interagera med objekt. Därför kan vi samla in ett stort antal träningsprover på ett effektivt sätt. Vi visar att vår föreslagna metod (1) konvergerar snabbare än de state-of-the-art djupa förstärkning inlärningsmetoder, (2) generaliserar över mål och scener, (3) generaliserar till en riktig robot scenario med en liten mängd finjustering (även om modellen är tränad i simulering), (4) är end-to-end trainingable och behöver inte funktionsteknik, funktionsmatchning mellan ramar eller 3D-rekonstruktion av miljön.
Ref tog itu med problemen med generalisering av uppgifter och dataineffektivitet.
Target-driven visual navigation in indoor scenes using deep reinforcement learning
{'venue': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'journal': '2017 IEEE International Conference on Robotics and Automation (ICRA)', 'mag_field_of_study': ['Engineering', 'Computer Science']}