Vi presenterar Memory Augmented Policy Optimization (MAPO), ett enkelt och nytt sätt att utnyttja en minnesbuffert av lovande banor för att minska variansen av policygradient uppskattning. MAPO är tillämpligt på deterministiska miljöer med diskreta åtgärder, såsom strukturerade förutsägelser och kombinatoriska optimeringsuppgifter. Vi uttrycker det förväntade avkastningsmålet som en viktad summa av två termer: en förväntan över de hög-reward trajectories inne i minnesbufferten, och en separat förväntan över trajectories utanför bufferten. För att göra en effektiv algoritm av MAPO, föreslår vi: (1) minnesvikt klippning för att påskynda och stabilisera utbildning; (2) systematisk utforskning för att upptäcka högt utbyte banor; (3) distribuerad provtagning från insidan och utanför minnesbufferten för att skala upp utbildning. MAPO förbättrar urvalseffektiviteten och robustheten i policygradienten, särskilt när det gäller uppgifter med glesa belöningar. Vi utvärderar MAPO på svagt övervakad programsyntes från naturligt språk (semantisk tolkning). På WIKITABLEQUESTIONS-riktmärket förbättrar vi den senaste tekniken med 2,6 % och uppnår en noggrannhet på 46,3 %. På WIKISQL-riktmärket uppnår MAPO en noggrannhet på 74,9 % med endast svag tillsyn, vilket överträffar flera starka baslinjer med full tillsyn. Vår källkod finns på goo.gl/TXBp4e
Memory Augmented Policy Optimization (MAPO) REF föreslogs med hjälp av en minnesbuffert av lovande banor för att minska variansen av policyoptimering.
Memory Augmented Policy Optimization for Program Synthesis and Semantic Parsing
{'venue': 'NeurIPS', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}