Under de senaste åren, Deep Enhancement Learning har gjort imponerande framsteg i att lösa flera viktiga referensproblem för sekventiellt beslutsfattande. Många kontrollprogram använder en generisk flerskikts perceptron (MLP) för icke-vision delar av policynätverket. I detta arbete föreslår vi en ny neural nätverksstruktur för policynätverk representation som är enkel men ändå effektiv. Det föreslagna strukturerade kontrollnätet (SCN) delar upp det generiska MLP-systemet i två separata delmoduler: en icke-linjär styrmodul och en linjär styrmodul. Intuitivt är den ickelinjära kontrollen för framåtriktad och global kontroll, medan den linjära kontrollen stabiliserar den lokala dynamiken kring resterna av global kontroll. Vi antar att detta kommer att föra samman fördelarna med både linjär och icke-linjär politik: förbättra utbildningsprov effektivitet, slutliga episodiska belöning, och generalisering av inlärd politik, samtidigt som det krävs ett mindre nätverk och är allmänt tillämplig på olika utbildningsmetoder. Vi validerade vår hypotes med konkurrenskraftiga resultat på simuleringar från OpenAI MuJoCo, Roboschool, Atari, och en anpassad 2D stadskörningsmiljö, med olika ablation och generalisering tester, tränade med flera svart-box och policy gradient utbildningsmetoder. Den föreslagna arkitekturen har potential att förbättras när det gäller bredare kontrolluppgifter genom att problemspecifika prioriteringar införlivas i arkitekturen. Som en fallstudie visar vi mycket bättre prestanda för locomotion uppgifter genom att efterlikna de biologiska centrala mönstergeneratorer (CPG) som den icke-linjära delen av arkitekturen.
I RL visade strukturerade kontrollnät en förbättring av flera uppgifter genom att dela upp policyn i en linjär modul och en icke-linjär modul REF.
Structured Control Nets for Deep Reinforcement Learning
{'venue': 'PMLR 80:4742-4751, 2018', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}