Abstract-I detta papper utvecklar vi en adaptiv inlärningsalgoritm som är ungefär optimal för en opportunistisk spektrumaccess (OSA) problem med polynom komplexitet. I detta OSA-problem modelleras varje kanal som en tvåstats diskret tid Markov kedja med ett dåligt tillstånd som ger ingen belöning och ett bra tillstånd som ger belöning. Detta är känt som Gilbert-Elliot kanalmodellen och representerar variationer i kanalens tillstånd på grund av blekning, primär användaraktivitet, etc. Det finns en användare som kan överföra på en kanal i taget, och vars mål är att maximera dess genomströmning. Utan att känna till övergångssannolikheterna och endast observera tillståndet för den kanal som för närvarande är vald, står användaren inför ett delvis observerat Markov-beslutsproblem (POMDP) med okänd övergångsstruktur. I allmänhet är det svårt att lära sig den optimala politiken på detta område. Vi föreslår en beräkningseffektiv inlärningsalgoritm som är ungefär optimal för den oändliga horisonten genomsnittliga belöningskriteriet.
På samma sätt, i REF, en två stat diskret tid Markov kedja med ett dåligt tillstånd som ger ingen belöning och ett bra tillstånd som ger belöning ansågs.
Approximately optimal adaptive learning in opportunistic spectrum access
{'venue': '2012 Proceedings IEEE INFOCOM', 'journal': '2012 Proceedings IEEE INFOCOM', 'mag_field_of_study': ['Computer Science']}