Många verkliga problem kommer med action utrymmen som representeras som funktion vektorer. Även om högdimensionell kontroll är ett till stor del olöst problem har det på senare tid gjorts framsteg när det gäller blygsamma dimensionaliteter. Här rapporterar vi om ett lyckat försök att ta itu med problem med dimensionalitet så högt som 2000, av en viss form. Motiverade av viktiga tillämpningar såsom rekommendationssystem som inte passar standardförstärkande inlärningsramar, introducerar vi Slate Markov beslutsprocesser (slate-MDPs). En Slate-MDP är en MDP med en kombinatorisk åtgärd utrymme som består av skiffer (tuples) av primitiva handlingar som man utförs i en underliggande MDP. Agenten kontrollerar inte valet av denna verkställda åtgärd och åtgärden kan inte ens vara från grunden, t.ex., för rekommendationssystem för vilka alla rekommendationer kan ignoreras. Vi använder djup Q-lärande baserat på särdrag representationer av både staten och åtgärder för att lära sig värdet av hela skiffer. Till skillnad från befintliga metoder optimerar vi för både kombinatoriska och sekventiella aspekter av våra uppgifter. Den nya agentens överlägsenhet över agenter som antingen ignorerar kombinatoriska eller sekventiella långsiktiga värdeaspekt visas på en rad miljöer med dynamik från ett recommendationssystem i verkligheten. Dessutom använder vi djupa deterministiska politiska riktningar för att lära oss en politik som för varje position i skiffer, riktar uppmärksamheten mot den del av åtgärdsområdet där värdet är högst och vi bara utvärderar åtgärder på detta område. Uppmärksamheten används inom en sekventiellt girig procedur att utnyttja submodularitet. Slutligen visar vi hur införandet av risksökande dramatiskt kan förbättra agenternas prestanda och förmåga att upptäcka mer långtgående strategier.
Slate MDPs REF modell skiffer av primitiva åtgärder, och använda DQN för att lära sig värdet av objekt skiffer, och ett girigt förfarande för att konstruera skiffer.
Deep Reinforcement Learning with Attention for Slate Markov Decision Processes with High-Dimensional States and Actions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}