Vi introducerar FeUdal Networks (FuNs): en ny arkitektur för hierarkiskt förstärkande lärande. Vårt tillvägagångssätt är inspirerat av Dayans och Hintons feodala förslag till förstärkning av lärandet, och vinner kraft och effektivitet genom att frikoppla lärandet från det end-to-end över flera nivåer - vilket gör det möjligt att utnyttja olika tidsuppfattningar. Vårt ramverk använder en Manager-modul och en Worker-modul. Chefen arbetar med en lägre tidsupplösning och sätter upp abstrakta mål som förmedlas till och antas av Arbetaren. Arbetaren genererar primitiva handlingar vid varje fästing i miljön. FuN:s frikopplade struktur ger flera fördelar - förutom att underlätta mycket långfristig kreditgivning uppmuntrar den också uppkomsten av underpolitik kopplad till olika mål som fastställts av chefen. Dessa egenskaper gör det möjligt för FuN att dramatiskt överträffa en stark utgångsagent på uppgifter som innebär långsiktiga kredituppdrag eller memorisering. Vi visar hur vårt föreslagna system fungerar på en rad olika uppgifter från ATARI-sviten och även från en 3D DeepMind Lab-miljö.
Vezhnevets m.fl. REF föreslår en arkitektur där en chefsmodul och en arbetsmodul.
FeUdal Networks for Hierarchical Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}