Trådlöst drivna mobila datorsystem (MEC) har nyligen utvecklats som ett lovande paradigm för att förbättra databehandlingskapaciteten i nät med låg effekt, såsom trådlösa sensornätverk och sakernas internet (IoT). I detta dokument anser vi att ett trådlöst MEC-nätverk följer den binära avlastningspolicyn, så att varje beräkningsuppgift för trådlösa enheter (WDs) antingen utförs lokalt eller helt avladdas till en MEC-server. Vårt mål är att förvärva en online-algoritm under tidsvarierande trådlösa kanaler som tillsammans optimerar avlastning av uppgifter och tilldelning av trådlösa resurser för att maximera databehandlingskapaciteten i nätverket. I praktiken kräver detta att man successivt löser svåra kombinatoriska optimeringsproblem för att ta itu med korrelationen mellan flera användare i avlastningsbesluten. De befintliga tillvägagångssätten är huvudsakligen baserade på antingen gren-och-bundet algoritm eller avslappning heuristics, som begränsas av kompromissen mellan optimalitet och effektivitet. För att ta itu med detta problem föreslår vi i detta dokument en ram för inlärningsbaserad online-avlastning (DROO) som genomför ett djupt neuralt nätverk för att generera avlastningsbeslut. I synnerhet kräver det föreslagna DROO-ramverket inga manuellt märkta träningsdata som ingång, och därmed helt bort behovet av att lösa kombinatoriska optimeringsproblem. Dessutom undviker den den förbannelse över dimensionalitetsproblem som vissa befintliga förstärkande inlärningsmetoder stöter på och är beräkningseffektiv i stora nätverk. För att ytterligare minska komplexiteten i beräkningen föreslår vi ett adaptivt förfarande som automatiskt justerar parametrarna för DROO-algoritmen i farten. Numeriska resultat visar att den föreslagna algoritmen kan uppnå nästan optimal prestanda samtidigt som den avsevärt minskar beräkningstiden med mer än en storleksordning jämfört med befintliga metoder. Till exempel är komplexiteten reducerad från flera sekunder till mindre än 0,1 sekund i ett 30-användarnätverk, vilket gör realtid och optimal avlastning design verkligt livskraftig även i en snabbt bleknande miljö. Mobila avancerade datorer, trådlös kraftöverföring, förstärkningsutbildning, resursallokering. L. Huang är på college 2 I. INLEDNING Modern Internet of Things (IoT) teknik begränsas i grunden av begränsad batterilivslängd och låg datorkraft av storleksbegränsade trådlösa enheter (WDs), särskilt för beräkning intensiva applikationer som augmented reality. Tack vare den senaste tekniken för trådlös kraftöverföring (WPT) kan WD-batterierna laddas kontinuerligt över luften utan att batteriet behöver bytas ut [1]. Under tiden kan enheten datorkraft effektivt förbättras genom den senaste utvecklingen av mobile-edge computing (MEC) teknik [2]. Med MEC kan WD avlasta intensiva beräkningar till närliggande kantservrar för minskad beräkningslatens och energiförbrukning [3]. Den nyutvecklade trådlösa MEC kombinerar fördelarna med de två ovannämnda teknikerna, vars installation i IoT-nätverk lovar att lösa de två grundläggande prestandabegränsningarna [4], [5]. I den här artikeln betraktar vi ett trådlöst MEC-nätverk som visas i Bild. 1, där åtkomstpunkten (AP) ansvarar för både överföring av RF-energi (radiofrekvens) till och mottagande av beräkningsavlastning från WD. I synnerhet WDs följa en binär uppgift offloading policy [6], som är en vanlig används offloading modell för icke-partitionerbara enkla avkänningsuppgifter i IoT-nätverk. I detta fall, en uppgift antingen beräknas lokalt eller avladdas till MEC-servern för fjärr databehandling. I ett fleranvändarscenario är en stor utmaning att gemensamt optimera valet av individuellt datorläge (dvs. avlastning eller lokal databehandling) och tilldelning av överföringstid (vid WPT och avlastning) för att uppnå maximal beräkningsprestanda. På grund av den kombinatoriska karaktären av val av datorläge, är problemet i allmänhet formuleras som blandade heltal programmering (MIP). För att ta itu med problemet med minimiimportpriset används algoritmer [7] och dynamisk programmering [8] för att lösa den globalt optimala avlastningslösningen. Sökytorna för båda metoderna ökar dock exponentiellt med nätverksstorleken N och är beräkningsmässigt oöverkomliga för storskaliga MEC-nätverk. För att minska computational komplexitet föreslås heuristiska lokala sökmetoder för att minska den computational komplexiteten. Till exempel [5] föreslog en metod för koordinatnedstigning (CD) som söker längs en binär variabel åt gången. En liknande heuristisk sökmetod för MEC-nätverk med flera servrar studerades [9], vilket iterativt justerar binära avladdningsbeslut. En annan allmänt accepterad heuristic är genom konvex avkoppling, t.ex., genom avkopplande heltal variabler att vara kontinuerlig mellan 0 och 1 [10] eller genom att approximera binära begränsningar med kvadratiska begränsningar [11]. Ändå, å ena sidan,
På senare tid har en djupt förstärkande inlärningsram för avlastning av uppgifter undersökts i ett enda-AP scenario REF.
Deep Reinforcement Learning for Online Offloading in Wireless Powered Mobile-Edge Computing Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}