Abstract-This paper undersöka en djup förstärkning lärande (DRL)-baserade MAC-protokoll för heterogena trådlösa nätverk, kallas en Deep-reforcement Learning Multiple Access (DLMA). I synnerhet överväger vi scenariot med ett antal nätverk som använder olika MAC-protokoll för att försöka få tillgång till ankomst- och avgångstider för ett gemensamt trådlöst medium. En viktig utmaning i vår problemformulering är att vi antar vårt DLMA-nätverk inte känner till de operativa principerna för MAC i de andra nätverken-dvs., DLMA inte vet hur de andra MACs fattar beslut om när och när. Målet med DLMA är att kunna lära sig en optimal kanalaccessstrategi för att uppnå ett visst på förhand angivet globalt mål. Möjliga mål inkluderar maximering av summan genomströmning och maximering av α-fairness bland alla nätverk. Den grundläggande inlärningsprocessen för DLMA bygger på DRL. Med ordentliga definitioner av stat utrymme, action utrymme, och belöningar i DRL, visar vi att DLMA lätt kan maximera summan genom att klokt välja vissa tider att överföra. Maximering av allmän α-rättvishet ligger dock utanför ramen för den konventionella förstärkningen av lärandet (RL). Vi lägger fram ett nytt flerdimensionellt RL-ramverk som gör det möjligt för DLMA att maximera allmän α-fairness. Våra omfattande simuleringsresultat visar att DLMA kan maximera summan genomströmning eller uppnå proportionell rättvisa (två speciella klasser av α-fairness) när de samexisterar med TDMA- och ALOHA MAC-protokoll utan att veta att de är TDMA eller ALOHA. Viktigt, Vi visar förtjänsten av att införliva användningen av neurala nätverk i RL-ramverket (dvs. varför DRL och inte bara traditionella RRL): specifikt, användningen av DRL tillåter DLMA (i) att lära sig den optimala strategin med mycket snabbare hastighet och (ii) att vara mer robust genom att det fortfarande kan lära sig en nästan optimal strategi även när parametrarna i RR-ramverket inte är optimalt inställda. Index Terms-djup förstärkning lärande, heterogena trådlösa nätverk, medium åtkomstkontroll (MAC), α-fairness.
i REF undersökte ett DRL-baserat protokoll för flera åtkomster för att lära sig den optimala spektrumaccesspolicyn med beaktande av tjänstens rättvisa, och Mohammad Etal.
Deep-Reinforcement Learning Multiple Access for Heterogeneous Wireless Networks