Förstärkt lärande för delvis observerbara Markov-beslutsproblem (POMDP) är en utmaning eftersom det kräver en politik med en intern stat. Traditionella metoder lider avsevärt av denna brist och gör vanligtvis starka antaganden om problemdomänen såsom perfekta systemmodeller, statsskattare och ett markovianskt dolt system. Återkommande neurala nätverk (RNN) erbjuder en naturlig ram för att hantera policyinlärning med hjälp av dolda tillstånd och kräver endast få begränsande antaganden. Eftersom de kan tränas väl med hjälp av lutning nedstigning, är de lämpade för policy gradient tillvägagångssätt. I detta dokument presenterar vi en policygradientmetod, den återkommande policygradienten, som utgör en modellfri förstärkningsmetod för lärande. Det syftar till att utbilda en stokastisk politik i begränsad omfattning om problem som kräver långsiktiga minnen av tidigare observationer. Tillvägagångssättet innebär att approximera en policygradient för ett återkommande neuralt nätverk genom att bakåtförstärka returviktade karakteristiska eligibiliteter genom tiden. Med hjälp av RNN-arkitekturen ''Long ShortTerm Memory'' kan vi överträffa tidigare RL-metoder på tre viktiga referensuppgifter. Dessutom visar vi att genom att använda historiska baslinjer minskar skattningsvariationen avsevärt, vilket gör det möjligt för oss att ta itu med mer utmanande, mycket stokastiska miljöer.
REF föreslog en recurrent Policy Gradient-metod och visade att ett LSTM-nätverk som utbildats med denna metod överträffar andra metoder i flera uppgifter, bland annat TMazes.
Recurrent policy gradients
{'venue': 'LOGIC JOURNAL OF IGPL', 'journal': None, 'mag_field_of_study': ['Computer Science']}