Abstract-Reinforcement Learning (RL) ger en lovande ny metod för systemprestandahantering som skiljer sig radikalt från standard keugetiska-teoretiska metoder med användning av explicita systemprestandamodeller. I princip kan RL automatiskt lära sig kvalitetsstyrning utan en explicit prestandamodell eller trafikmodell, och med lite eller ingen inbyggd systemspecifik kunskap. I vårt ursprungliga arbete [1], [2], [3] visade vi möjligheten att använda online RL för att lära sig uppskattningar resursvärdering (i uppslagstabell form) som kan användas för att fatta högkvalitativa beslut serverallokering i en multi-application prototyp Data Center scenario. Det nuvarande arbetet visar hur man kombinerar styrkan hos både RL- och kömodeller i en hybridmetod, där RL-tåg offline på data som samlas in medan en kömodellpolicy styr systemet. Genom att träna offline undviker vi att lida potentiellt dålig prestanda i live online-träning. Nu använder vi även RL för att träna ickelinjära funktionsuppskattare (t.ex. flerskiktsperceptroner) i stället för uppslagstabeller, vilket möjliggör skalning till betydligt större tillståndsrymder. Våra resultat visar nu att i både öppen och sluten trafik kan hybrid-RL-utbildning uppnå betydande prestandaförbättringar genom en mängd olika grundläggande modellbaserade policyer. Vi finner också att RL, som förväntat, effektivt kan hantera både transienta och bytesförseningar, som ligger utanför ramen för den traditionella steady-state köteorin.
En hybridmetod som kombinerar både förstärkande inlärning och kömodell föreslogs av REF.
A Hybrid Reinforcement Learning Approach to Autonomic Resource Allocation
{'venue': '2006 IEEE International Conference on Autonomic Computing', 'journal': '2006 IEEE International Conference on Autonomic Computing', 'mag_field_of_study': ['Computer Science']}