Förmågan att överföra färdigheter över arbetsuppgifter har potential att skala upp förstärkande lärande (RL) agenter till miljöer som för närvarande är utom räckhåll. På senare tid har en ram som bygger på två idéer, efterföljande inslag och allmän politisk förbättring (GPI) införts som ett principiellt sätt att överföra färdigheter. I detta dokument utvidgar vi ramen för SF&GPI på två sätt. En av de grundläggande antagandena bakom den ursprungliga formuleringen av SF&GPI är att belöningar för alla uppgifter av intresse kan beräknas som linjära kombinationer av en fast uppsättning funktioner. Vi slappnar av denna begränsning och visar att de teoretiska garantier som stöder ramverket kan utvidgas till alla typer av uppgifter som bara skiljer sig åt i belöningsfunktionen. Vårt andra bidrag är att visa att man kan använda belöningsfunktionerna själva som funktioner för framtida uppgifter, utan någon förlust av uttrycksfullhet, vilket eliminerar behovet av att specificera en uppsättning funktioner i förväg. Detta gör det möjligt att kombinera SF&GPI med djupt lärande på ett mer stabilt sätt. Vi verifierar empiriskt detta påstående på en komplex 3D-miljö där observationer är bilder ur ett förstapersonsperspektiv. Vi visar att den överföring som stöds av SF&GPI leder till en mycket bra politik för osynliga uppgifter nästan omedelbart. Vi beskriver också hur man lär sig policyer som är specialiserade på de nya uppgifterna på ett sätt som gör att de kan läggas till agentens kompetens och på så sätt återanvändas i framtiden.
På senare tid har efterföljande inslag och allmänna politiska förbättringar införts som ett principiellt sätt att överföra kompetensreferensdokument.
Transfer in Deep Reinforcement Learning Using Successor Features and Generalised Policy Improvement
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}