Att tillämpa probabilistiska modeller för att förstärka lärandet (RL) har blivit en spännande forskningsinriktning tack vare kraftfulla optimeringsverktyg som variationsinferens som blir tillämpliga på RL. På grund av deras utformning utgör befintliga inferensramar och algoritmer dock betydande utmaningar för att lära sig optimal politik, till exempel avsaknaden av mode fånga beteende i pseudolikelihood metoder och svårigheter med optimering av lärande mål i maximal entropi RL-baserade metoder. Vi föreslår VIREL, en ny, teoretiskt grundad probabilistisk inferensram för RL som utnyttjar action-värdefunktionen i en parametriserad form för att fånga framtida dynamik i den underliggande Markov-beslutsprocessen. På grund av dess allmängiltighet lämpar sig vårt ramverk för aktuella framsteg i form av varierande slutsatser. Genom att tillämpa algoritmen för variationsförväntning-maximering på vårt ramverk visar vi att den aktörskritiska algoritmen kan reduceras till förväntan-maximering. Vi härleder en familj av metoder från vårt ramverk, inklusive toppmoderna metoder baserade på mjuka värdefunktioner. Vi utvärderar två skådespelare-kritiska algoritmer härledda från denna familj, som presterar på samma sätt som mjuka skådespelare kritiker, visar att vårt ramverk erbjuder ett lovande perspektiv på RL som inference.
Samtidigt med vårt arbete införde REF en varierad inferensram för djupt förstärkande lärande.
VIREL: A Variational Inference Framework for Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}