I detta dokument argumenterar vi för värdefördelningens grundläggande betydelse: fördelningen av den slumpmässiga avkastningen som mottas av en förstärkande inlärningsagent. Detta står i kontrast till den gemensamma strategin för att stärka lärandet, som modellerar förväntningarna på denna avkastning, eller värdet. Även om det finns en etablerad litteratur som studerar värdefördelningen har den hittills alltid använts för ett specifikt ändamål, t.ex. för att genomföra riskmedvetet beteende. Vi börjar med teoretiska resultat i både policyutvärderingen och kontrollinställningarna, vilket avslöjar en betydande distributionsmässig instabilitet i det senare. Vi använder sedan fördelningsperspektivet för att utforma en ny algoritm som tillämpar Bellmans ekvation för inlärning av ungefärliga värdefördelningar. Vi utvärderar vår algoritm med hjälp av sviten av spel från Arcade Learning Environment. Vi får både state-of-the-art resultat och anekdotiska bevis som visar vikten av värdefördelningen i ungefärlig förstärkning lärande. Slutligen kombinerar vi teoretiska och empiriska bevis för att belysa hur värdefördelningen påverkar lärandet i en ungefärlig miljö.
På samma sätt, en ny algoritm, kallad C51, som tillämpar Bellmans ekvation för lärande av den ungefärliga värdefördelningen utformades i REF.
A Distributional Perspective on Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}