Lågnivåkontroll av autonoma undervattensfordon (AUV) har behandlats i stor utsträckning genom klassisk kontrollteknik. De varierande driftsförhållanden och fientliga miljöer som AUV står inför har dock drivit forskare mot utformningen av adaptiva kontrollmetoder. Förstärkt lärande (RL) paradigm är en kraftfull ram som har tillämpats i olika formuleringar av adaptiva kontrollstrategier för AUVs. Begränsningarna av RL-strategier har dock lett till att det har uppstått ett fördjupat lärande som har blivit en attraktiv och lovande ram för att utveckla verkliga anpassningsbara kontrollstrategier för att lösa komplexa kontrollproblem för autonoma system. De flesta av de befintliga applikationerna för djup RL använder dock videobilder för att träna beslutsfattande artificiell agent, men att få kamerabilder endast för ett AUV-kontroll syfte kan vara kostsamt när det gäller energiförbrukning. Dessutom är belöningarna inte lätt att få direkt från videoramarna. I detta arbete utvecklar vi en djupt förstärkande inlärningsram för adaptiva styrapplikationer av AUVs baserat på en aktör-kritisk målorienterad djup RL arkitektur, som tar den tillgängliga rå sensorisk information som ingång och som utgång de kontinuerliga kontrollåtgärder som är låg nivå kommandon för AUV: s styrraketer. Experiment på en riktig AUV visar tillämpligheten av den angivna djupa förstärkning lärande för en autonom robot kontroll problem. Autonoma undervattensfordon revolutionerar havsforskningen med tillämpningar inom ett stort antal vetenskapliga områden som marin geovetenskap, biologi och arkeologi men också inom den privata sektorn såsom olje- och gasindustrin [1] [2] [3]. Under årens lopp har det gjorts intensiva ansträngningar för att utveckla autonoma kontrollstrategier för AUV [4, 5]. Autonomy innebär att ett företag kan agera självständigt enligt sitt eget kriterium och det är en viktig egenskap för tekniska system i stora och osäkra miljöer [6]. I detta avseende har adaptiv kontrollteknik på låg nivå uppstått som ett sätt att ge AUV:s autonomi så att de kan verka i fientliga miljöer [7]. Klassisk kontrollteori [8] har utvecklats i en mängd olika metoder för lågnivå AUV-kontroll. Flera versioner av den välkända PID-regulatorn [9] har utvecklats och använts för AUV-kontroll. För att nämna några, i det tidiga arbetet av Jalving [10] föreslogs en enkel proportionell derivat styrenhet för AUV styrning. Fjellstad och Fossen [11] utformade en PID-kontrollant för positions- och attitydspårning av en AUV och den globala konvergensen av deras förslag bevisades av Barbalats lemma. Mer sofistikerade förslag kan hittas i arbetet i Valenciaga, et al. [12] där en proportionell integrativ styrenhet för flera ingångar och flera utgångar (PI-MIMO) formulerades för att styra rodret och propellern till en AUV. I arbetet med Sutarto och Budiyono [13] utvecklades en linjär parameter med varierande (LPV) kontrollstrategi baserad på linjär fraktionerad omvandling för att formulera en robust strategi för att uppnå en stabil longitudinell styrning av en AUV. För att hantera AUV modellering osäkerheter och mättnaden av de kontroller åtgärder som införts av AUV ställdon, Sarhadi et al. [14], föreslog en adaptiv PID-formulering med motvindskompensatorer [15,16] och sedan analyserades stabiliteten av Lyapunov-teorin och den föreslagna kontrolltekniken implementerades i en omborddator som skulle kontrolleras i en dynamisk simuleringsmiljö i realtid [17]. När modellens uppskattningsnoggrannhet kan vara oprecis och systemets icke-linjäritet beaktas, har Lyapunov-baserade algoritmer många fördelar för kontrollformuleringar. Ett exempel finns i Ferreira et al. [18] där flera oberoende styrenheter har utvecklats, endast baserat på Lyapunovs teori, för att utföra frikopplade rörelser hos en AUV. I arbetet med Lapierre och Jouvencell [19] presenterades en icke-linjär robust kontrollformulering som använde sig av Lyapunov-baserade tekniker. I detta fall användes en virtuell målprincip för att utforma en asymptotiskt konvergent kinematisk kontroll, som bygger på en strategi för byteskontroll för de dynamiska parametrarna. Störningen avvisades dock inte uttryckligen i formuleringen och författarna har uttryckligen erkänt att ytterligare forskning behövs. På ett annat sätt har utvecklingen kommit från icke-linjära styrkonstruktioner där linjära omvandlingar användes för att lösa linjära kvadrerade och Gaussiska regulatorer (LQR respektive LQG) som i arbetet med Wadoo et al. [20] där en systemlinearisering utförs för kontroll av en kinematisk modell av en AUV och sedan en LQG formulerades som ett H-2-optimeringsproblem. Geranmher m.fl. [21] ansågs vara en generell fullt kopplad AUV och tillämpade icke-linjär suboptimal kontroll, där den tillståndsberoende Riccati-ekvationen användes för att generera en suboptimal väglösning. I Fischer et al:s arbete. [22] En kontinuerlig robust integrerad del av felkontrollens tecken användes för att kompensera för osäkra, icke-autonoma störningar för ett sammankopplat och fullt fungerande undervattensfordon. Dessutom visades semiglobal asymptotisk stabilitet genom en Lyapunovbaserad stabilitetsanalys. Undervatten vehikel hydrodynamik är mycket icke-linjära med osäkerheter som är svåra att parameterisera och dessutom okända störningar är vanligtvis närvarande som är typiska för vattenmiljöer. Av dessa skäl har forskare tillgripit adaptiva regulatorer och har ofta inkluderat den dynamiska modellen eller har uppskattat systemparametrarna i utformningen av regulatorerna. Tidigt diskuterade Fossen och Fjellstad [11] de adaptiva kontrolllagarna [23,24] för kontroll av undervattensfordon. Därefter har flera adaptiva PID formuleringar föreslagits som i verk av Antonelli et al. [25, 26] där olika adaptiva versioner baserade på PID-kontrolllagar formulerades med en adaptiv kompensation för dynamiken. I sådana förslag måste dock kontrollvinsterna justeras manuellt, först i simulering och sedan med det verkliga systemet under dess drift [27]. En adaptiv on-line inställningsmetod för en kopplad två-loop proportionell regulator av fyra grader av frihet för en autonom undervattensfordon presenteras i arbetet av Barbalata et al. [28] där vinsterna för varje styrenhet bestäms on-line enligt felsignalerna. Rout och Subudhi [29] utvecklade en adaptiv inställningsmetod för en PID-regulator med hjälp av en omvänd optimal kontrollteknik baserad på en NARMAX-modell [30] för representationer av den icke-linjära dynamiken. Andra adaptiva feedback controller föreslogs av Narasimhan och Singh [31] med hjälp av LQR teori för beräkning av den optimala feedback vinst vektor *
Carlucho m.fl. REF tillämpar en aktörskritisk DRL-algoritm på låg nivå attitydkontroll av ett autonomt undervattensfordon (AUV) - liknande den föreslagna metoden i detta dokument - och finner att den härledda kontrolllagen överförs väl från simulering till verkliga experiment i världen.
Adaptive low-level control of autonomous underwater vehicles using deep reinforcement learning
{'venue': 'Robotics Auton. Syst.', 'journal': 'Robotics Auton. Syst.', 'mag_field_of_study': ['Computer Science']}