Abstract-Vi anser att problemet med maktallokering över en eller flera tidsvariationer kanaler med okända distributioner i energi skörd kommunikation. I enkanalsväskan väljer sändaren sändningseffekten baserat på mängden lagrad energi i batteriet med målet att maximera den genomsnittliga hastigheten över tiden. Vi modellerar detta problem som en Markov beslutsprocess (MDP) med sändare som agent, batteristatus som staten, överför kraft som åtgärd och hastighet som belöning. Den genomsnittliga belöning maximering problem kan modelleras av ett linjärt program (LP) som använder övergångssannolikheterna för stat-action par och deras belöningsvärden för att välja en makt tilldelning politik. Detta problem är utmanande eftersom osäkerheten i kanaler innebär att de genomsnittliga belöningar i samband med stat-action par är okända. Vi föreslår därför två online-lärande algoritmer: linjärt program av provmedel (LPSM) och Epoch-LPSM som lär sig dessa belöningar och anpassar sin politik över tid. För båda algoritmerna bevisar vi att deras ånger beror på en konstant. Enligt vår kunskap är detta det första resultatet som visar ständig ånger lärande algoritmer för MDPs med okända genomsnittliga belöningar. Vi visar också ett ännu starkare resultat om LPMM: att dess politik matchar den optimala politiken exakt i ändlig förväntad tid. Epoch-LPSM får ett större beklagande jämfört med LPSM, samtidigt som beräkningskraven minskas avsevärt. Vi överväger vidare ett flerkanalsscenario, där agenten också väljer en kanal i varje slot, och presenterar vår flerkanals LPMM-algoritm (MC-LPSM) som utforskar olika kanaler och använder den informationen för att lösa LP under exploateringen. MC-LPSM drabbas av en ånger som skalar logaritmiskt i tid och linjärt i antalet kanaler. Genom en matchande lägre gräns på ånger av någon algoritm, visar vi också den asymptotiska ordningen optimalitet MC-LPSM. Index Terms-Contextual banditer, multi-armade banditer (MABs), online-inlärning, energi skörd kommunikation, Markov beslutsprocess (MDP).
I REF, online lärande algoritmer antogs för att utnyttja MDP-problemet där belöningarna förväntningar och stat-action par var okända, och sedan algoritmerna användes för att lära sig dessa belöningar och föreslå sin egen politik över tiden.
Online Learning Schemes for Power Allocation in Energy Harvesting Communications
{'venue': 'IEEE Transactions on Information Theory', 'journal': 'IEEE Transactions on Information Theory', 'mag_field_of_study': ['Computer Science', 'Mathematics']}