I detta dokument överväger vi problemet med realtidsöverföringsplanering över tidsvariationskanaler. Vi formulerar först detta överföringsplaneringsproblem som en Markov-beslutsprocess och upplöser systematiskt de strukturella egenskaper (t.ex. konkavitet i statsvärdefunktionen och monotonitet i den optimala schemaläggningspolitiken) som visas av de optimala lösningarna. Vi föreslår sedan en online-lärande algoritm som bevarar dessa strukturella egenskaper och uppnår ε-optimala lösningar för en godtyckligt liten ε. Fördelarna med den föreslagna online-metoden anges enligt följande: 1) Den kräver ingen förkunskaper om statistiken över trafikankomster och kanaler, och 2) den anpassar sig till de tillståndsvärden som används med hjälp av delvis linjära funktioner och har låg lagrings- och beräknings komplexitet. Vi utökar också den föreslagna inlärningslösningen med låg komplexitet online för att möjliggöra prioriterad dataöverföring. Simuleringsresultaten visar att den föreslagna metoden uppnår betydligt bättre nytta (eller fördröjning) energiavsättningar jämfört med befintliga toppmoderna onlineoptimeringsmetoder. Index Terms-Delay-känslig kommunikation, energieffektiv dataöverföring, Markov beslutsprocesser (MDP), schemaläggning, stokastisk kontroll.
I REF föreslås en inlärningsalgoritm som använder en bitvis linjär approximation av värdefunktionen.
Structure-Aware Stochastic Control for Transmission Scheduling
{'venue': 'IEEE Transactions on Vehicular Technology', 'journal': 'IEEE Transactions on Vehicular Technology', 'mag_field_of_study': ['Computer Science', 'Mathematics']}