Förmågan hos en förstärkande lärande (RL) agent att lära sig om många belöningsfunktioner samtidigt har många potentiella fördelar, såsom nedbrytning av komplexa uppgifter i enklare, utbyte av information mellan uppgifter, och återanvändning av färdigheter. Vi fokuserar särskilt på en aspekt, nämligen förmågan att generalisera till osynliga uppgifter. Parametrisk generalisering bygger på interpoleringskraften hos en funktions approximator som ges uppgiftsbeskrivningen som indata; en av dess vanligaste form är universell värdefunktions approximatorer (UVFA). Ett annat sätt att generalisera nya uppgifter är att utnyttja strukturen i själva RL-problemet. Den allmänna politiska förbättringen (GPI) kombinerar lösningar av tidigare uppgifter till en politik för den osynliga uppgiften. Detta bygger på en omedelbar utvärdering av den gamla politiken inom ramen för den nya belöningsfunktionen, som möjliggörs genom efterföljande funktioner. Vår föreslagna universella efterföljare har ungefärliga egenskaper (USFA) kombinerar fördelarna med alla dessa, nämligen skalbarheten hos UVFA, den omedelbara slutsatsen av SFs, och den starka generaliseringen av GPI. Vi diskuterar utmaningarna med att utbilda en USFA, dess generaliseringsegenskaper och visar dess praktiska fördelar och överför förmågor på en storskalig domän där agenten måste navigera i ett förstapersonsperspektiv tredimensionell miljö.
REF:s universella efterföljare har ungefärliga egenskaper (USFA) och uppvisar två typer av generaliseringar: en som utnyttjar strukturen i värdefunktionernas underliggande utrymme och en annan som utnyttjar RL-problemets struktur.
Universal Successor Features Approximators
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}