I detta dokument föreslås en ny metod för representationsinlärning baserad på geometriska egenskaper hos värdefunktionernas utrymme. Vi studerar en tvådelad approximation av värdefunktionen: en ickelinjär karta från tillstånd till vektorer, eller representation, följt av en linjär karta från vektorer till värden. Vår formulering överväger att anpassa representationen för att minimera den (linjära) approximationen av värdefunktionen hos alla stationära policyer för en given miljö. Vi visar att denna optimering minskar till att göra exakta förutsägelser om en speciell klass av värdefunktioner som vi kallar kontradiktoriska värdefunktioner (AVF). Vi hävdar att dessa AVF gör utmärkta extra uppgifter, och använda dem för att konstruera en förlust som effektivt kan minimeras för att hitta en nästan optimal representation för förstärkning lärande. Vi lyfter fram metodens egenskaper i en serie experiment på fyrrumsdomänen.
I REF föreslås ett nytt perspektiv på representationsinlärning i RL baserat på geometriska egenskaper hos värdefunktionens utrymme.
A Geometric Perspective on Optimal Representations for Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}