Handlingsplanering med hjälp av inlärda och differentierade framåtmodeller i världen är en allmän strategi som har ett antal önskvärda egenskaper, inklusive förbättrad prov komplexitet över modellfria RL-metoder, återanvändning av inlärda modeller över olika uppgifter, och förmågan att utföra effektiv gradientbaserad optimering i kontinuerliga aktionsutrymmen. Detta tillvägagångssätt gäller dock inte enkelt när åtgärdsutrymmet är diskret. I detta arbete visar vi att det faktiskt är möjligt att effektivt utföra planering via backprop i diskreta aktionsutrymmen, med hjälp av en enkel paramaterisering av åtgärderna vektorer på simplex kombinerat med ingångsbuller vid träning framåt modellen. Våra experiment visar att detta tillvägagångssätt kan matcha eller överträffa modellfria RL- och diskreta planeringsmetoder för gridworld-navigeringsuppgifter i form av prestanda och/eller planeringstid vid användning av begränsade miljöinteraktioner, och kan dessutom användas för att utföra modellbaserad kontroll i en utmanande ny uppgift där åtgärdsutrymmet kombinerar diskreta och kontinuerliga åtgärder. Vi föreslår dessutom en strategi för destillering som ger ett snabbt politiskt nätverk som kan användas vid slutdatumet och som undanröjer behovet av ett iterativt planeringsförfarande.
REF fokuserar på modellbaserad planering i lågdimensionella tillståndsutrymmen och utökar sin metod för att fungera i både diskreta och kontinuerliga åtgärdsutrymmen.
Model-Based Planning with Discrete and Continuous Actions.
{'venue': None, 'journal': 'arXiv: Artificial Intelligence', 'mag_field_of_study': ['Computer Science']}