Små basstationer som är utrustade med cacheenheter har potential att hantera den aldrig tidigare skådade efterfrågetillväxten i heterogena nät. Genom låga, backhaul anslutningar med ryggraden, SBs kan prefetch populära filer under off-peak trafik timmar, och serva dem till kanten vid topp perioder. Till intelligent prefetch, varje SB måste lära sig vad och när man ska cache, samtidigt som hänsyn tas till SB-minne begränsningar, det massiva antalet tillgängliga innehåll, okända popularitetsprofiler, samt utrymme-tid popularitetsdynamiken av användarens filförfrågningar. I detta arbete, lokala och globala Markov processer modell användare önskemål, och en förstärkning lärande (RL) ram läggs fram för att hitta den optimala caching politik när de övergångs sannolikheter som är inblandade är okända. Gemensamt övervägande av globala och lokala popularitetskrav tillsammans med cache-uppfriskande kostnader möjliggör en enkel, men ändå praktisk asynkron caching strategi. Den nya RL-baserade cachelagringen bygger på en Q-lärande algoritm för att genomföra den optimala policyn på nätet, vilket gör det möjligt för cachekontrollenheten vid SB att lära sig, spåra och eventuellt anpassa sig till den underliggande dynamiken. För att ge algoritmen skalbarhet införs en linjär funktions approximation av det föreslagna Q-learning-systemet, vilket ger snabbare konvergens samt minskad komplexitet och minneskrav. Numeriska tester bekräftar fördelarna med det föreslagna tillvägagångssättet i olika realistiska miljöer.
Studien i REF tar gemensamt hänsyn till globala och lokala popularitetskrav för en lokal liten basstation och föreslår ett Q-learning-baserat system för att stärka lärandet för att lära sig och anpassa sig till den underliggande dynamiken i användarnas önskemål.
Optimal and Scalable Caching for 5G Using Reinforcement Learning of Space-time Popularities
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}