Abstract-Vi anser en opportunistisk spektrumaccess (OSA) problem där tidsvarierande villkor för varje kanal (t.ex. som ett resultat av slumpmässig blekning eller vissa primära användares aktiviteter) modelleras som en godtycklig finit-state Markov kedja. Vid varje tillfälle av tid, en (sekundär) användare sonderar en kanal och samlar in en viss belöning som en funktion av tillståndet i kanalen (t.ex., bra kanal tillstånd resulterar i högre datahastighet för användaren). Varje kanal har potentiellt olika tillstånd utrymme och statistik, både okänd för användaren, som försöker lära sig vilken som är bäst när det går och maximerar dess användning av den bästa kanalen. Målet är att konstruera en bra online-lärande algoritm för att minimera skillnaden mellan användarens prestanda i totala belöningar och att använda den bästa kanalen (i genomsnitt) hade det känt vilken som är bäst från en förkunskaper om kanalstatistik (även känd som ångra). Detta är ett klassiskt prospekterings- och exploateringsproblem och resulterar i överflöd när belöningsprocesser antas vara iid. Jämfört med tidigare arbete, är den största skillnaden att i vårt fall belöningsprocessen antas vara Markovian, varav iid är ett specialfall. Dessutom är belöningsprocesserna rastlösa eftersom kanalförhållandena kommer att fortsätta att utvecklas oberoende av användarens åtgärder. Detta leder till ett rastlöst banditproblem, för vilket det finns lite resultat på antingen algoritmer eller prestandagränser i detta lärande sammanhang till det bästa av vår kunskap. I detta dokument introducerar vi en algoritm som använder regenerativa cykler i en Markov-kedja och beräknar en urvalsbaserad indexpolicy, och visar att under milda förhållanden på tillståndsövergångsannolikheterna i Markov-kedjorna denna algoritm uppnår logaritmisk ånger jämnt över tiden, och att denna ånger är bunden också optimal. Vi undersöker numeriskt prestandan av denna algoritm tillsammans med några andra lärande algoritmer i fallet med ett OSA-problem med Gilbert-Elliot kanalmodeller, och diskutera hur denna algoritm kan förbättras ytterligare (i termer av dess konstant) och hur detta resultat kan leda till liknande gränser för andra algoritmer.
De beklagar samma sak som i REF.
Online learning in opportunistic spectrum access: A restless bandit approach
{'venue': '2011 Proceedings IEEE INFOCOM', 'journal': '2011 Proceedings IEEE INFOCOM', 'mag_field_of_study': ['Computer Science', 'Mathematics']}