Vi anser att en mobil användare får tillgång till innehåll i en dynamisk miljö, där nytt innehåll genereras över tid (av användarens kontakter) och förblir relevant för användaren under slumpmässiga livstider. Användaren, utrustad med ett cacheminne med begränsad kapacitet, kommer slumpmässigt åt systemet och begär allt relevant innehåll vid tidpunkten för åtkomst. Systemet ådrar sig en energikostnad i samband med antalet nedladdade innehåll och kanalens kvalitet vid den tidpunkten. Förutsatt kausal kunskap om kanalens kvalitet, innehållsprofil, och användar-access beteende, modellerar vi den proaktiva caching problem som en Markov beslutsprocess med målet att minimera den långsiktiga genomsnittliga energikostnaden. Vi bevisar först optimaliteten hos ett tröskelbaserat proaktivt cachesystem, som dynamiskt cacher eller tar bort lämpligt innehåll från minnet, innan användaren begär det, beroende på kanaltillståndet. De optimala tröskelvärdena beror på systemtillståndet och är därför beräkningsmässigt oåtkomliga. Därför föreslår vi parametriska representationer för tröskelvärdena och använder förstärknings-lärande algoritmer för att hitta nästan optimala parameteriseringar. Vi visar genom simuleringar att de föreslagna systemen avsevärt överträffar klassisk reaktiv nedladdning och utför mycket nära en geniaid lägre gräns. Index Terms-Markov beslutsprocess, proaktiv innehåll caching, policy gradient metoder, förstärkning lärande.
För att minimera den långsiktiga genomsnittliga energikostnaden föreslås en tröskelbaserad proaktiv caching-strategi i REF för cache-aktiverade mobila användare, där RL-algoritmer används för att optimera de parametrar som representerar tröskelvärdena.
A Reinforcement-Learning Approach to Proactive Caching in Wireless Networks
{'venue': 'IEEE Journal on Selected Areas in Communications', 'journal': 'IEEE Journal on Selected Areas in Communications', 'mag_field_of_study': ['Computer Science', 'Mathematics']}