Utvecklingen av smarta fordon ger förare och passagerare en bekväm och säker miljö. Olika nya applikationer lovar att berika användarnas reseupplevelser och vardagsliv. Men hur man utför datorintensiva tillämpningar på resursbegränsade fordon står fortfarande inför enorma utmaningar. I den här artikeln konstruerar vi ett intelligent offloading system för vehicular edge computing genom att utnyttja djup förstärkning lärande. För det första modelleras både kommunikations- och beräkningstillstånden av finita Markovkedjor. Dessutom har strategin för schemaläggning och resursfördelning formulerats som ett gemensamt optimeringsproblem för att maximera användarnas upplevelsekvalitet (QoE). På grund av dess komplexitet är det ursprungliga problemet ytterligare uppdelat i två suboptimeringsproblem. Ett tvåsidigt matchningssystem och en djupgående förstärkning av inlärningsmetoden utvecklas för att planera avlämning av ansökningar respektive tilldelning av nätresurser. Resultatutvärderingar illustrerar effektiviteten och överlägsenheten i vårt konstruerade system. Med den snabba utvecklingen av allmänt förekommande system och smarta fordon, artificiell intelligens-baserade fordonsnätverk [37], känd som en delmängd av Cyber Physical Systems (CPS) [22], har dragit till sig ökad uppmärksamhet. Många forskare över hela världen har arbetat med nya fordonstillämpningar för att skapa en bekvämare och säkrare körmiljö. Men hur man utför dessa datorintensiva tillämpningar på fordon står fortfarande inför enorma utmaningar, t.ex. hur man möjliggör återkoppling i realtid mellan fordon och nätverksservrar baserade på kommunikationslägen för fordon till fordon (V2V) och fordon till infrastruktur (V2I), hur man tillhandahåller effektiva databehandlingsmöjligheter för resursbegränsande tillämpningar och rimliga resurstilldelningar för fordon och infrastruktur. Inledningsvis föreslår forskare paradigmet Mobile Cloud Computing (MCC) [40], som ackumulerar rika dator- och lagringsresurser till molnservrar. Trots sin kraftfulla datorkapacitet är det fortfarande svårt att uppfylla kraven på svar i realtid för fordonstillämpningar. Därför är Mobile Edge Computing (MEC) ett lovande alternativ, vars noder är i närheten av användarna. Jämfört med MCC kan MEC kraftigt minska kommunikationslatensen, som skalas exponentiellt med ökningen av routing humle i fordonsnätverk [8]. Dessutom utnyttjar MEC-noders mångfald avsevärt potentiella datorresurser över nätet, vilket också minskar arbetsbördan för den centrala basstationen [4]. Det bör noteras att mer än RoadSide Units (RSU)-alla enheter med kapacitet att datorer, caching, eller nätverk-kan vara plattformen för MEC. Eftersom begränsningsresursen begränsar MEC-noders kapacitet, är det tänkt att prestandan hos traditionella tids- och energikrävande nätverksmetoder [3, 5] kan falla abrupt i fordonsnätverk. Därför är det angeläget att utveckla en effektiv lösning för MEC-miljön. Djupförstärkt lärande (DRL) är en framtida teknik för att ersätta traditionella metoder. Nyligen har maskininlärning uppnått anmärkningsvärda prestationer inom många områden, såsom bildbehandling, mönsterigenkänning och behandling av naturligt språk. Den är också involverad i datorintensiva tillämpningar, inklusive autopilot och realtidsnavigering genom V2V eller V2I. Men maskininlärning i MEC-aktiverade fordonsnätverk (dvs. vehicular edge computing) är fortfarande i sin linda. Några forskare försöker utnyttja djupinlärning och konvolutionella neurala nätverk för att förutsäga trafikflöden. DRL beaktas dock sällan. Att bygga ett intelligent offloading system för vehicular edge computing och få det att fungera bra, det finns tre huvudsakliga utmaningar: (1) Även om DRL har uppnått stor framgång i Atari spel och Go [17], dess tillämpning i fordonsnätverk är nästan obefintlig. Detta beror på att fordonsnätverken är mycket dynamiska, och begränsningarna i avlastningssystemen är mer implicita, flexibla och varierande än schackets uttryckliga regler. (2) Både DRL och traditionella fordonsnätverk undersöks utifrån en sekvens av tagna bilder. Det finns dock inga sekventiella bilder i vårt intelligenta avlastningssystem. Hur man migrerar DRL till fordonsnätverk utan bilder är ganska utmanande. På senare tid har djupinlärning och avancerade datorbaserade CPS uppmärksammats av många forskare. Vi granskar tre kategorier, inklusive djupinlärning-baserade CPS, MEC-baserade CPS, och ACM 60:4 Z. Ning et al. Djupt lärande för MEC. Eftersom CPS innehåller olika nätverkssystem väljer vi fordonsnätverk som exempel för att introducera nya forskningsframsteg. Djupt lärande används i allmänhet för mönsterigenkänning och trafikförutsägelse. Författarna i Reference [18] använder sig av oövervakat lärande för att samla in de urbana smartkortsuppgifterna, med de stationsorienterade och passagerarorienterade synsätten. De verkliga uppgifterna om storstadsområdet i Rennes i Frankrike samlas in för att finna fördelningen av trafikflödet och likheten mellan passagerarna. Ett kooperativt neuralt nätverk är skräddarsytt för att konstruera ett strukturellt körfält detektionssystem med de fångade bilderna i en verklig trafik scen [13]. För det första utformas ett djupt konvolutionsnätverk för att upptäcka trafikskyltar och deras geometriska egenskaper. För det andra är det svårt att uttryckligen känna igen återkommande neurala nätverk som har att göra med signalspatial distribution. Efter miljontals trafikbilder fångas, hur man effektivt hämta dessa stora mängder data är en utmanande fråga. En övervakad hash kodning system är utformad för att generera högkvalitativa binära koder [35]. Konvolutionella neurala nätverk implementeras för att analysera funktionen representation av bilder. Den kvantiserade förlustfunktionen tvingar till att liknande bilder kodas med liknande koder. Upphovsmän i referens [1] antar Long Short Term Memory (LSTM)-baserade återkommande neurala nätverk för att förutsäga efterfrågan i realtid taxi. Olika från traditionella förutsägelser, de förutspår inte ett deterministiskt värde, men utnyttja blandning densitet nätverk för att förutsäga sannolikhetsfördelningen av taxi krav. En ny neurala nätverk utbildningsmetod tillämpas i referens [16]. Den tar hänsyn till korrelationerna mellan rum och tid för att förutsäga trafikflödet. Den viktigaste idén med träningsmetoden är att använda den giriga lagervis oövervakade inlärningsplanen för att förbehandla det djupa neurala nätverket lager för lager, vilket minskar träningstiden avsevärt.
Ning m.fl. REF byggde en intelligent systemram för beräkning av fordon kant baserat på djup förstärkning inlärningsteknik, etablerat en kommunikations- och datorstatsmodell baserad på Finite Markov Chain, kombinerat med tvåvägs matchning och djup förstärkning inlärningsmetoder, gemensamt optimerad uppgift schemaläggning och strategier nätverk resursallokering för att maximera kvaliteten på användarupplevelsen (QoE).
Deep Reinforcement Learning for Vehicular Edge Computing: An Intelligent Offloading System
{'venue': 'TIST', 'journal': None, 'mag_field_of_study': ['Computer Science']}