Representationsinlärning och upptäckt av alternativ är två av de största utmaningarna när det gäller att stärka lärandet (RL). Proto-RL är en välkänd metod för representationsinlärning i MDP. De representationer som man lärt sig med detta ramverk kallas proto-värdefunktioner (PVF). I detta dokument tar vi itu med problemet med upptäckt av alternativ genom att visa hur PVF implicit definierar alternativ. Vi gör det genom att införa eigenpurposes, inneboende belöningsfunktioner som härrör från de inlärda representationerna. Alternativen som upptäcktes från eigenpurposes genomkorsar de viktigaste riktningarna i statsrymden. De är användbara för flera uppgifter eftersom de är oberoende av agenternas avsikter. Dessutom, genom att fånga spridningsprocessen för en slumpmässig promenad, olika alternativ agera på olika tidsskalor, vilket gör dem till hjälp för prospekteringsstrategier. Vi visar funktioner av eigenpurposes i traditionella tabular domäner samt i Atari 2600 spel.
Machado m.fl. REF tog itu med problemet med upptäckt av alternativ genom att visa hur Proto-värdefunktioner (PVF) implicit definierar alternativ.
A Laplacian Framework for Option Discovery in Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}