Vi tar itu med problemet med att lära hierarkiska djupa neurala nätverk politik för att stärka lärande. I motsats till metoder som uttryckligen begränsar eller lamslår lägre skikt i en hierarki för att tvinga dem att använda högre nivå modulerande signaler, tränas varje lager i vårt ramverk för att direkt lösa uppgiften, men förvärvar en rad olika strategier via en maximal entropi förstärkning lärande mål. Varje lager utökas också med latenta slumpvariabler, som provtas från en tidigare fördelning under utbildningen av det lagret. Det maximala entropimålet gör att dessa latenta variabler införlivas i skiktets policy, och det högre skiktet kan direkt styra beteendet hos det lägre lagret genom detta latenta utrymme. Dessutom, genom att begränsa kartläggningen från latenta variabler till åtgärder för att vara inverterbara, behåller högre lager full expressivitet: varken de högre lagren eller de lägre lagren begränsas i sitt beteende. Vår experimentella utvärdering visar att vi kan förbättra prestandan hos enskiktspolicyer för standardriktmärkesuppgifter helt enkelt genom att lägga till ytterligare skikt, och att vår metod kan lösa mer komplexa glest belönande uppgifter genom att lära sig policyer på högre nivå utöver högentropiska färdigheter optimerade för enkla lågnivåmål.
Latent rymdpolicys för HRL REF använder ett annat tillvägagångssätt för att parameterisera låg nivå.
Latent Space Policies for Hierarchical Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}