Vi presenterar en enhetlig ram för att lära sig kontinuerlig kontroll politik med hjälp av backpropagation. Den stöder stokastisk kontroll genom att behandla stokasticitet i Bellman ekvationen som en deterministisk funktion av exogent buller. Produkten är ett spektrum av allmänna policygradientalgoritmer som sträcker sig från modellfria metoder med värdefunktioner till modellbaserade metoder utan värdefunktioner. Vi använder lärda modeller men kräver bara observationer från miljön istället för observationer från modellpredikterade banor, vilket minimerar effekten av sammansatta modellfel. Vi tillämpar dessa algoritmer först på ett leksaksstokastiskt kontrollproblem och sedan på flera fysikbaserade kontrollproblem i simulering. En av dessa varianter, SVG(1), visar hur effektiva inlärningsmodeller, värdefunktioner och policyer är samtidigt inom kontinuerliga områden.
Heess m.fl. REF föreslog att man skulle lösa kontinuerliga regler för styrning med värdegradientalgoritm som använder djupa nätverk som en funktion approximator.
Learning Continuous Control Policies by Stochastic Value Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}