Obemannade luftfartyg förväntas vara en viktig komponent i nästa generations trådlösa system. På grund av flexibiliteten i driftsättningen betraktas UAV som en effektiv lösning för att samla in informationsdata från marknoder och överföra den trådlöst till nätverket. I denna uppsats studeras ett UAV-stödt trådlöst nätverk, där energibefruktade marknoder används för att observera olika fysiska processer. I detta nätverk, en UAV som har en tidsbegränsning för sin drift på grund av sitt begränsade batteri, rör sig mot marken noder för att ta emot statusuppdatering paket om deras observerade processer. UAV:s flygbana och schemaläggning av statusuppdateringspaket optimeras gemensamt med målet att uppnå den lägsta viktade summan för AoI-värdena för olika processer vid UAV, som kallas viktad summa-AoI. Problemet är modellerat som en ändlig-horisont Markov beslutsprocess (MDP) med ändliga tillstånd och handlingsutrymmen. Eftersom det statliga utrymmet är extremt stort, föreslås en djupt förstärka lärande (RL) algoritm för att få den optimala policy som minimerar den viktade summan-AoI, som kallas åldersoptimal politik. Flera simuleringsscenarier anses visa på konvergensen av den föreslagna djupa RL-algoritmen. Dessutom visar resultaten också att den föreslagna djupa RL-metoden avsevärt kan förbättra den uppnåeliga summan-AoI per process jämfört med baslinjepolitiken, såsom den avståndsbaserade och slumpmässiga gångpolitiken. Inverkan av olika systemkonstruktionsparametrar på den optimala möjliga summan-AoI per process visas också genom omfattande simuleringar.
I REF optimeras flygbanan för UAV och schemaläggning av paket gemensamt för att minimera summan av Age-of-Information (sum-AoI) vid UAV.
Deep Reinforcement Learning for Minimizing Age-of-Information in UAV-Assisted Networks
{'venue': '2019 IEEE Global Communications Conference (GLOBECOM)', 'journal': '2019 IEEE Global Communications Conference (GLOBECOM)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}