Abstract-Automatisk beslutsfattande metoder, såsom förstärkning lärande (RL), har tillämpats för (delvis) lösa resurs tilldelning problem adaptively i molnet datorsystem. Ett komplett ramverk för tilldelning av molnresurser uppvisar dock höga dimensioner i tillstånds- och aktionsutrymmen, vilket förbjuder nyttan av traditionella RL-tekniker. Dessutom har hög energiförbrukning blivit en av de kritiska frågorna när det gäller design och styrning av molndatasystem, vilket försämrar systemets tillförlitlighet och ökar kylkostnaderna. En effektiv dynamisk energisparpolicy (DPM) bör minimera energiförbrukningen samtidigt som prestandanedbrytningen bibehålls inom en godtagbar nivå. Således är en gemensam virtuell maskin (VM) resursallokering och energihanteringsram avgörande för det övergripande molndatasystemet. Dessutom behövs en ny lösningsram för att ta itu med de ännu högre dimensionerna i tillstånds- och åtgärdsutrymmen. I detta dokument föreslår vi en ny hierarkisk ram för att lösa det övergripande resursfördelningen och energihanteringsproblemen i molnbaserade datorsystem. Det föreslagna hierarkiska ramverket omfattar en global nivå för tilldelning av virtuella datorers resurser till servrarna och en lokal nivå för distribuerad strömhantering av lokala servrar. Den framväxande tekniken för djupt förstärkande lärande (DRL), som kan hantera komplicerade kontrollproblem med stort tillståndsutrymme, antas för att lösa det globala nivåproblemet. Dessutom antas en autoenkoder och en ny viktdelningsstruktur för att hantera det högdimensionella tillståndsutrymmet och öka konvergenshastigheten. Å andra sidan består den lokala nivån av distribuerade servereffekthanteringar av en LSTM-baserad prediktor för arbetsbelastning och en modellfri RL-baserad effekthanterare som arbetar på ett distribuerat sätt. Experimentella resultat med hjälp av verkliga Google-klusterspår visar att vårt föreslagna hierarkiska ramverk avsevärt sparar energiförbrukningen och energianvändningen än utgångsvärdet samtidigt som ingen allvarlig latensnedbrytning uppnås. Samtidigt kan den föreslagna ramen uppnå den bästa kompromissen mellan latens och energi-/energiförbrukning i ett serverkluster.
Till exempel föreslår författarna till REF en djupt förstärkt inlärningsteknik för hantering av VM-tilldelning i Cloud datacenter.
A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning
{'venue': '2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS)', 'journal': '2017 IEEE 37th International Conference on Distributed Computing Systems (ICDCS)', 'mag_field_of_study': ['Computer Science']}