Abstract-This paper visar hur de senaste genombrotten i förstärkning lärande (RL) som har gjort det möjligt för robotar att lära sig att spela arkadspel, gå, eller montera färgade tegelstenar, kan användas för att utföra andra uppgifter som för närvarande är kärnan i teknik cyberfysiska system. Vi presenterar den första användningen av RL för styrning av system som modelleras av diskreterade icke-linjära partiella differentialekvationer (PDE) och utformar en ny algoritm för att använda icke-parametriska styrtekniker för stora multiagentsystem. Cyberfysiska system (t.ex. hydrauliska kanaler, transportsystem, energinätet och elektromagnetiska system) är ofta modellerade av PDE, som historiskt sett har varit ett tillförlitligt sätt att möjliggöra tekniska tillämpningar inom dessa områden. Det är dock känt att kontrollen av dessa PDE-modeller är notoriskt svår. Vi visar hur neurala nätverk-baserade RL möjliggör kontrollen av diskretiserade PDEs vars parametrar är okända, slumpmässiga, och tidsvarierande. Vi introducerar en algoritm av ömsesidig vikt legalisering (MWR), som lindrar förbannelsen av dimensionalitet av multi-agent kontroll system genom att dela erfarenheter mellan agenter samtidigt ge varje agent möjlighet att specialisera sin åtgärd politik för att anpassa den till de lokala parametrarna i den del av systemet som ligger i. En diskretiserad PDE, såsom Skalaren Lighthill-Whitham-Richards PDE kan verkligen betraktas som en makroskopisk motorväg trafiksimulator och som presenterar de mest framträdande utmaningarna för att lära sig att styra stora cyberfysiska system med flera agenter. Vi överväger två olika diskretiseringsförfaranden och visar de möjligheter som erbjuds genom att tillämpa djup förstärkning för kontinuerlig kontroll på båda. Med hjälp av en neural RL PDE controller på en trafikflödessimulering baserad på en Godunov diskretization av San Francisco Bay Bridge, kan vi uppnå exakt adaptiv mätning utan modellkalibrering och därmed slå den senaste tekniken inom trafikmätning. Med den mer exakta BeATS-simulatorn lyckas vi dessutom uppnå en kontrollprestanda i nivå med ALINEA, ett toppmodernt parametriskt styrsystem, och visa hur användning av MWR förbättrar inlärningsproceduren.
Belletti m.fl. REF utvecklade en "expertnivå"-kontroll av samordnad rampmätning med hjälp av Deep-RL-metoder med flera agenser och uppnådde exakt adaptiv mätning utan att kräva modellkalibrering som gör bättre än den traditionella referensalgoritmen ALINEA.
Expert Level Control of Ramp Metering Based on Multi-Task Deep Reinforcement Learning
{'venue': 'IEEE Transactions on Intelligent Transportation Systems', 'journal': 'IEEE Transactions on Intelligent Transportation Systems', 'mag_field_of_study': ['Computer Science']}