Den framgångsrika tillämpningen av Förstärkning Lärande (RL) tekniker för robotkontroll begränsas av det faktum att, i de flesta robotiska uppgifter, tillstånd och action utrymmen är kontinuerliga, multidimensionella, och i huvudsak, för stora för konventionella RL algoritmer för att fungera. Den välkända förbannelsen över dimensionaliteten gör det ogenomförbart att använda en tabellformig representation av värdefunktionen, vilket är det klassiska tillvägagångssätt som ger konvergensgarantier. När en funktion approximation teknik används för att generalisera bland liknande tillstånd, är konvergensen av algoritmen äventyras, eftersom uppdateringar oundvikligen påverkar en utvidgad region av domänen, det vill säga, vissa situationer ändras på ett sätt som inte har verkligen upplevts, och uppdateringen kan försämra approximationen. Vi föreslår en RL-algoritm som använder en sannolikhetstäthetsberäkning i det gemensamma utrymmet av tillstånd, åtgärder och Q-värden som ett medel för funktion approximation. Detta gör det möjligt för oss att utforma en uppdateringsmetod som, med hänsyn till den lokala provtagningstätheten, undviker en alltför stor ändring av approximationen långt från det observerade provet.
I REF har denna fråga hanterats ur ett förstärkt inlärningsperspektiv, genom att man använt en uppskattning av sannolikhetstätheten för det gemensamma utrymmet av stater.
Reinforcement learning for robot control using probability density estimations
{'venue': 'ICINCO', 'journal': None, 'mag_field_of_study': ['Computer Science']}