De flesta djupt förstärkande inlärningsalgoritmer är dataineffektiva i komplexa och rika miljöer, vilket begränsar deras tillämplighet till många scenarier. En riktning för att förbättra dataeffektiviteten är multitask-inlärning med delade neurala nätverksparametrar, där effektiviteten kan förbättras genom överföring över relaterade uppgifter. I praktiken observeras dock inte detta vanligtvis, eftersom gradienter från olika uppgifter kan störa negativt, vilket gör lärande instabila och ibland ännu mindre data effektiva. En annan fråga är de olika belöningssystemen mellan uppgifter, vilket lätt kan leda till att en uppgift dominerar inlärningen av en gemensam modell. Vi föreslår ett nytt tillvägagångssätt för gemensam utbildning av flera uppgifter, som vi kallar Distral (Distill & transfer learning). I stället för att dela parametrar mellan de olika arbetstagarna föreslår vi att vi delar en "destillerad" politik som fångar upp ett gemensamt beteende mellan olika uppgifter. Varje arbetare utbildas för att lösa sin egen uppgift samtidigt som de är tvungna att hålla sig nära den gemensamma politiken, medan den gemensamma politiken genom destillation utbildas till centroid för all uppgiftspolitik. Båda aspekterna av inlärningsprocessen erhålls genom att man optimerar en gemensam objektiv funktion. Vi visar att vårt tillvägagångssätt stöder effektiv överföring på komplexa 3D-miljöer och överträffar flera relaterade metoder. Dessutom är den föreslagna inlärningsprocessen mer robust och stabilare attribut som är avgörande för djupt förstärkande lärande.
REF tillämpar destillation på multi-task-inställningen genom att lära sig en gemensam (destillerad) politik i ett antal 3D-miljöer.
Distral: Robust Multitask Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}