Vi föreslår en metod för att lära sig expressiv energibaserad politik för kontinuerliga stater och åtgärder, vilket har varit möjligt endast på tabellområden tidigare. Vi tillämpar vår metod för att lära oss maximal entropi politik, vilket resulterar i en ny algoritm, kallad mjuk Q-learning, som uttrycker den optimala policyn via en Boltzmann distribution. Vi använder den nyligen föreslagna amortized Stein variationsgradient nedstigning för att lära sig en stokastisk provtagning nätverk som approximerar prover från denna distribution. Fördelarna med den föreslagna algoritmen är bland annat förbättrad prospektering och kompositionalitet som gör det möjligt att överföra färdigheter mellan uppgifter, vilket vi bekräftar i simulerade experiment med sim- och promenadrobotar. Vi drar också en koppling till skådespelareskritiska metoder, som kan ses som ungefärliga slutsatser om den motsvarande energibaserade modellen.
Soft Q-learning motiverar att använda en Boltzmann distribution i värdefunktionen som ett sätt att utföra maximal entropi RL REF.
Reinforcement Learning with Deep Energy-Based Policies
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}