Detta dokument introducerar QMDP-net, en neural nätverk arkitektur för planering under partiell observerbarhet. QMDP-nätet kombinerar styrkan i modellfritt lärande och modellbaserad planering. Det är ett återkommande policynätverk, men det representerar en policy genom att koppla ihop en modell med en planeringsalgoritm som löser modellen och på så sätt integrera planeringslösningens struktur i en nätverksinlärningsarkitektur. QMDP-net är helt differentiable och möjliggör end-to-end-träning. Vi tränar ett QMDP-nät i en uppsättning olika miljöer så att det kan generalisera över nya och "överföra" till större miljöer också. I preliminära experiment visade QMDP-net en stark prestanda på flera robotiska uppgifter i simuleringen. Intressant, medan QMDP-net kodar QMDP algoritmen, det ibland överträffar QMDP algoritmen i experimenten, på grund av QMDP-net ökade robusthet genom end-to-end lärande.
QMDP-Net REF utbildar till exempel gemensamt ett Bayes-filternätverk och ett policynätverk för att uppskatta Q-värdet.
QMDP-Net: Deep Learning for Planning under Partial Observability
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}