I detta dokument presenterar vi en ny klass av Markov beslutsprocesser (MDP), som kallas Tsallis MDPs, med Tsallis entropy maximization, som generaliserar befintliga maximal entropy förstärkning lärande (RL). En Tsallis MDP ger en enhetlig ram för det ursprungliga RL-problemet och RL med olika typer av entropi, inklusive den välkända standarden Shannon-Gibbs (SG) entropi, med hjälp av en ytterligare real-värderad parameter, som kallas ett entropiskt index. Genom att kontrollera det entropiska indexet kan vi generera olika typer av entropi, inklusive SG-entropin, och en annan entropi resulterar i en annan klass av den optimala policyn i Tsallis MDP. Vi tillhandahåller också en fullständig matematisk analys av Tsallis MDP, inklusive optimalitet, prestandafelgränser och konvergens. Vårt teoretiska resultat gör det möjligt för oss att använda något positivt entropiskt index i RL. För att hantera komplexa och storskaliga problem föreslår vi en modellfri aktörskritisk RL-metod med Tsallis entropy maximization. Vi utvärderar legaliseringseffekten av Tsallis entropi med olika värden av entropiska index och visar att entropiska indexet kontrollerar prospekteringstrenden för den föreslagna metoden. För en annan typ av RL-problem tycker vi att ett annat värde på det entropiska indexet är önskvärt. Den föreslagna metoden utvärderas med hjälp av MuJoCo-simulatorn och uppnår den toppmoderna prestandan.
Nyligen analyserar REF en mer allmän Tsallis entropy familj med en ytterligare real-värderad parameter (d.v.s. q nämns ovan), kallas entropic index, som kan kontrollera prospekteringstrenden.
Tsallis Reinforcement Learning: A Unified Framework for Maximum Entropy Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}