Antag att en agent befinner sig i en (eventuellt okänd) Markovbeslutsprocess i avsaknad av en belöningssignal, vad kan vi hoppas att en agent effektivt kan lära sig att göra? Ett naturligt, i sig definierat, objektivt problem är att agenten lär sig en politik som framkallar en fördelning över tillståndsrymden som är så enhetlig som möjligt, som kan mätas i entropisk betydelse. Trots att det motsvarande matematiska programmet inte är konvext, ger vårt huvudresultat en påvisbar effektiv metod, både i fråga om provstorlek och beräknings komplexitet, för att konstruera en sådan maximal-entropi undersökande policy. Nyckeln till vår algoritmiska metod är att använda den villkorliga gradientmetoden (alias. Frank-Wolfe-algoritmen) som använder en ungefärlig MDP-lösare.
REF gav ett sätt att hitta en politik som har maximal entropi i statsrymden.
Provably Efficient Maximum Entropy Exploration
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}