Att kunna resonera i en miljö med ett stort antal diskreta åtgärder är viktigt för att öka inlärningen till en större klass av problem. Rekommendationssystem, industrianläggningar och språkmodeller är bara några av de många verkliga uppgifter som omfattar ett stort antal diskreta åtgärder för vilka nuvarande metoder är svåra eller till och med ofta omöjliga att tillämpa. En förmåga att generalisera över uppsättningen av åtgärder samt sub-linjär komplexitet i förhållande till storleken på uppsättningen är båda nödvändiga för att hantera sådana uppgifter. De nuvarande strategierna kan inte tillhandahålla båda dessa, vilket motiverar arbetet i detta dokument. Vårt föreslagna tillvägagångssätt utnyttjar tidigare information om åtgärderna för att inbädda dem i ett kontinuerligt utrymme som det kan generalisera. Dessutom möjliggör ungefärliga metoder som ligger närmast grannen logaritmisk-tidsuppslagning komplexitet i förhållande till antalet åtgärder, vilket är nödvändigt för tidsuppnåelig utbildning. Detta kombinerade tillvägagångssätt gör det möjligt att tillämpa förstärkta inlärningsmetoder på storskaliga inlärningsproblem som tidigare varit svåråtkomliga med nuvarande metoder. Vi demonstrerar vår algoritms förmågor på en rad uppgifter med upp till en miljon åtgärder.
För att möjliggöra tillämpning av förstärkande inlärningsalgoritmer på storskaliga, diskreta åtgärdsproblem föreslår REF policyarkitekturen Wolpertinger baserad på en kombination av DDPG och en ungefärlig närmaste grannesmetod.
Deep Reinforcement Learning in Large Discrete Action Spaces
{'venue': None, 'journal': 'arXiv: Artificial Intelligence', 'mag_field_of_study': ['Computer Science', 'Mathematics']}