Caching förväntas spela en avgörande roll i nästa generations infrastruktur för innehållsleverans, cellulära nätverk och Internetarkitekturer. Genom att på ett smart sätt lagra det mest populära innehållet på de lagringsaktiverade nätverksenheterna under efterfrågan på off-peak kan cachelagring vara till nytta för både nätverksinfrastruktur och slutanvändare under on-peak-perioder. I detta sammanhang kräver distributionen av den begränsade lagringskapaciteten mellan nätverksenheter decentraliserade system för cachelagring. Många praktiska caching system innebär en förälder caching nod ansluten till flera blad noder för att tjäna användaren filförfrågningar. För att modellera den tvåvägs interaktiva påverkan mellan caching beslut vid föräldern och blad noder, en förstärkning lärande (RL) ram läggs fram. För att hantera det stora kontinuerliga tillståndsutrymmet eftersträvas en skalbar djup RL-strategi. Det nya tillvägagångssättet bygger på ett hyperdjupt Q-nätverk för att lära sig Q-funktionen, och därmed den optimala cachepolicyn, på nätet. Förstärka modernoden med förmåga att lära sig och anpassa sig till okända policyer av blad noder samt spatio-temporal dynamisk utveckling av filförfrågningar, resulterar i anmärkningsvärd caching prestanda, vilket bekräftas genom numeriska tester. Ett system för inlärningsbaserad cachelagring utvecklades [19] för att modellera globala och lokala innehållsfakultiteter som markovianska processer. Med tanke på Poisson sköt buller popularitet dynamik, en politisk lutning RL-baserad cachesystem utformades i [20]. Om man antar stationär fil popularitet och servicekostnader, en dubbel nedbrytning baserad Q-learning metod genomfördes i [21]. Även om det är rimligt för diskreta tillstånd, kan dessa tillvägagångssätt inte hantera stora kontinuerliga tillståndszoner. För att klara sådana utrymmen har DRL-metoder övervägts för innehållscachelagring i t.ex. [6], [22], [23], [24], [25], [26]. En djupgående Q-nätverksstrategi utarbetades i [22] och omfattade tidsvarierande markovkanaler med ändliga tillstånd. En aktörskritisk metod med djupgående deterministiska uppdateringar av policygradienten användes i [23]. Ökad nätverksprestanda med hjälp av DRL dokumenterades i flera andra tillämpningar, såsom anslutna fordonsnätverk [24] och smarta städer [25]. Ovannämnda arbeten fokuserar på att utforma cachepolicyer för en enda cacheenhet. En mer gemensam inställning i nästa generations nätverk innebär dock ett nätverk av sammankopplade cachenoder. Det har visats att med tanke på ett nätverk av anslutna cache gemensamt kan ytterligare förbättra prestanda [27], [28]. Till exempel att utnyttja nättopologin och länkarnas sändningskaraktär, minskar den kodade caching-strategin i [27] ytterligare datatrafiken över ett nätverk. Denna idé har utvidgats i [29] till en online-miljö, där populariteter är modellerade Markov processer. Samarbete och distribuerade inlärningsmetoder online har följts [28], [30], [31]. Faktum är att dagens nätverk för innehållsleverans, såsom Akamai [32], har trädnätsstrukturer. Redovisning för hierarkin av cacher har blivit en vanlig praxis i senaste verk; se även [33], [34], [35]. Gemensam routing och innehåll i nätverk caching i en hierarkisk cache nätverk formulerades i [33], för vilka giriga system med bevisbara prestanda garantier kan hittas i [34]. Vi identifierar följande utmaningar som vi måste ta itu med när vi utformar praktiska cachingmetoder för nästa generations nätverk. c1) Networked Caching: Caching beslut av en nod, i ett nätverk av caches, påverkar beslut av alla andra noder. Således måste en önskad caching politik anpassa sig till nätverket topologi och politik angränsande noder. c2) Complex Dynamics: Innehållsmångfald är slumpmässig och uppvisar okänd rymdtid, heterogen och ofta icke-stationär dynamik över hela nätverket. c3) Stor Continuous State Space: På grund av skjuvstorleken på tillgängligt innehåll, caching noder, och möjliga förverkliganden av innehållsförfrågningar, beslutsutrymmet är enorm. Alireza Sadeghi (S'16) mottog B.Sc. Grad (
Studien i REF beaktar samspelet mellan en moder caching nod och blad noder i CDNs och tillämpar djup förstärkning lärande för att anpassa sig till dynamisk utveckling av användarnas önskemål.
Deep Reinforcement Learning for Adaptive Caching in Hierarchical Content Delivery Networks
{'venue': 'IEEE Transactions on Cognitive Communications and Networking', 'journal': 'IEEE Transactions on Cognitive Communications and Networking', 'mag_field_of_study': ['Mathematics', 'Computer Science']}