Abstract-Med den snabba ökningen av efterfrågan på mobila data, mobilnätsoperatörer försöker expandera trådlös nätverkskapacitet genom att distribuera trådlösa lokala nätverk (LAN) hotspots på vilka de kan avlasta sin mobiltrafik. Dessa nätverkscentrerade metoder uppfyller dock vanligtvis inte mobilanvändarnas (MU:s) intressen. Med hänsyn till många frågor som olika ansökningars tidsfrister, monetära kostnader och energiförbrukning, hur MU beslutar om att avlasta sin trafik till ett kompletterande trådlöst LAN är en viktig fråga. Tidigare studier utgår från att MU:s rörlighetsmönster är känt i förväg, vilket inte alltid är sant. I detta dokument studerar vi MU:s politik för att minimera hans monetära kostnader och energiförbrukning utan känt rörlighetsmönster för MU. Vi föreslår att använda en typ av förstärkning inlärningsteknik som kallas djup Q-nätverk (DQN) för MU för att lära sig den optimala avlastningspolitiken från tidigare erfarenheter. I den föreslagna DQN-baserade avlastningsalgoritmen behövs inte längre MU:s rörlighetsmönster. Dessutom matas MU: s tillstånd av återstående data direkt in i konvolution neurala nätverket i DQN utan diskretisering. Därför försvinner inte bara diskretiseringsfelet som förekommer i tidigare arbeten, utan det gör också att den föreslagna algoritmen har förmågan att generalisera tidigare erfarenheter, vilket är särskilt effektivt när antalet stater är stort. Omfattande simuleringar genomförs för att validera våra föreslagna avlastningsalgoritmer. Index Terms-wireless LAN, flera flöden, mobil data offloading, förstärkning lärande, djup Q-nätverk, DQN! Efterfrågan på mobil datatrafik ökar snabbt. Enligt undersökningen av Cisco Systems [1] förväntas den mobila datatrafiken nå 24,3 exabyte per månad till 2019, medan det bara var 2,5 exabyte per månad i slutet av 2014. Å andra sidan är tillväxttakten för mobilnätskapaciteten långt ifrån att tillfredsställa den typen av efterfrågan, vilket har blivit ett stort problem för operatörer av trådlösa mobilnät (MNOs). Även om 5G-tekniken är lovande för att tillhandahålla enorm trådlös nätverkskapacitet [2] är utvecklingsprocessen lång och kostnaden hög. Ekonomiska metoder som tidsberoende prissättning [3] [4] har föreslagits för att ändra användarnas användningsmönster, som inte är användarvänliga. Hittills har den bästa metoden för att öka mobilnätskapaciteten varit att distribuera kompletterande nätverk (t.ex. trådlösa LAN och femtoceller), som snabbt kan användas och är kostnadseffektivt. Med hjälp av sådana metoder kan en del av MU:s trafikefterfrågan lastas av från en MNO:s mobilnät till det kompletterande nätet. Processen att en mobil enhet automatiskt ändrar sin anslutningstyp (t.ex. från mobilt nätverk till trådlöst LAN) kallas vertikal överlåtelse [5]. Mobil dataavlastning underlättas av nya standarder som Hotspot 2.0 [6] och 3GPP Access Network Discovery and Selection Funktion (ANDSF) standard [7], med vilken information om nätet (t.ex. pris och nätbelastning) kan sändas till MU i realtid. Då kan MUs göra offloading beslut intelligent baserat på realtid nätverksinformation. Det finns många verk relaterade till det trådlösa LAN offloading problemet. Tidigare arbeten övervägde dock antingen det trådlösa LAN-avlastningsproblemet ur nätverksleverantörernas perspektiv utan att beakta MU:s tjänstekvalitet (QoS) [14] [15] studerade problemet med trådlös LAN-avlastning ur MU:s perspektiv. Medan avlastning av enflödesmobiltid övervägdes i [14] studeras problemet med avlastning av mobildata i flera flöden [15] där en MU har flera ansökningar om att överföra data samtidigt med olika tidsfrister. MU: s mål var att minimera sin totala kostnad, samtidigt som man tar hänsyn till monetära kostnader, preferens för energiförbrukning, tillämpningens fördröjning tolerans. Detta formulerades det trådlösa LAN offloading problemet som en finit-horisont diskret-tid Markov beslutsprocess [16] [17] [18]. En hög tids komplexitet dynamisk programmering (DP) baserad optimal offloading algoritm och en låg tids komplexitet heuristiska offloading algoritm prosed i [15]. Ett antagande [15] var att MU:s mobila mönster från en plats till en annan är känt i förväg och att övergångssannolikheten, som är nödvändig för optimal politisk beräkning i MDP, kan erhållas i förväg. MU:s rörlighetsmönster är dock inte lätt att få tag på, eller så är noggrannheten inte hög. Även om en Q-learning [19]-baserad algoritm föreslogs [14] för det okända MU:s rörlighetsmönster, lärandet, är konvergensgraden för den föreslagna algoritmen ganska låg på grund av det stora antalet stater. Det tar tid för den förstärkande inlärningsagenten att uppleva alla stater att uppskatta Q-värdet. I detta dokument föreslår vi en djupt förstärkande inlärningsalgoritm, särskilt ett djupt Q-nätverk (DQN) [20]-baserad algoritm, för att lösa problemet med flerflödesavlastning med hög konvergenshastighet utan att känna till MU:s rörlighetsmönster. Om ja, varsågod.
Referens REF studerar mobilanvändarens policy för att minimera användarens monetära kostnader och energiförbrukning utan ett känt rörlighetsmönster och använder ett djupt Q-nätverk (DQN) för att användaren ska lära sig den optimala avlastningspolitiken från tidigare erfarenheter.
A Deep Reinforcement Learning Based Approach for Cost- and Energy-Aware Multi-Flow Mobile Data Offloading
{'venue': 'IEICE Transactions on Communications, Vol.E101-B, No.7, Jul. 2018', 'journal': None, 'mag_field_of_study': ['Computer Science']}