Vi anser att ett dynamiskt flerkanalsåtkomstproblem, där flera korrelerade kanaler följer en okänd gemensam Markov-modell och användare väljer kanalen för att överföra data. Målet är att hitta en politik som maximerar det förväntade långsiktiga antalet framgångsrika sändningar. Problemet formuleras som en delvis observerbar Markov beslutsprocess med okänd systemdynamik. För att övervinna utmaningarna med okänd dynamik och oöverkomlig beräkning tillämpar vi konceptet att förstärka lärandet och implementera ett djupt Q-nätverk (DQN). Vi studerar först den optimala policyn för fixpattern-kanalbyte med känd systemdynamik och visar genom simuleringar att DQN kan uppnå samma optimala prestanda utan att känna till systemstatistiken. Vi jämför sedan DQN:s prestanda med en Myopic policy och en Whittle Index-baserad heuristisk genom både mer allmänna simuleringar och verkliga dataspår och visar att DQN uppnår nära optimal prestanda i mer komplexa situationer. Slutligen föreslår vi en adaptiv DQN-strategi med förmåga att anpassa sitt lärande i tidsvarierande scenarier.
I REF formuleras DSA-problemet som en delvis observerbar Markov-beslutsprocess (POMDP) med okänd systemdynamik.
Deep Reinforcement Learning for Dynamic Multichannel Access in Wireless Networks
{'venue': 'IEEE Transactions on Cognitive Communications and Networking', 'journal': 'IEEE Transactions on Cognitive Communications and Networking', 'mag_field_of_study': ['Computer Science']}