Legerade robotar utgör en av de största utmaningarna inom robotteknik. Dynamiska och smidiga manövrer av djur kan inte efterliknas av befintliga metoder som är skapade av människor. Ett övertygande alternativ är att stärka lärandet, vilket kräver minimalt hantverksarbete och främjar den naturliga utvecklingen av en kontrollpolitik. Men än så länge är förstärkande inlärningsforskning för legerade robotar huvudsakligen begränsad till simulering, och endast få och jämförbara enkla exempel har satts in på verkliga system. Den främsta orsaken är att träning med riktiga robotar, särskilt med dynamiska balanseringssystem, är komplicerat och dyrt. I det nuvarande arbetet rapporterar vi en ny metod för att utbilda en neural nätverkspolitik i simulering och överföra den till ett toppmodernt legerat system, vilket gör att vi utnyttjar snabba, automatiserade och kostnadseffektiva datagenereringssystem. Tillvägagångssättet tillämpas på ANYmal robot, ett sofistikerat medel-hund-stort fyrsidigt system. Med hjälp av policyer tränas i simulering, den fyrdelade maskinen uppnår locomotion färdigheter som går utöver vad som hade uppnåtts med tidigare metoder: ANYmal kan exakt och energieffektivt följa hög nivå kroppshastighet kommandon, kör snabbare än någonsin tidigare, och återhämtar sig från fall även i komplexa konfigurationer. https://doi.org/10.1126/scirobotics.aau5872 Legerade robotsystem är attraktiva alternativ till spårade/hjuliga robotar för tillämpningar i svår terräng och komplexa röriga miljöer. Deras frihet att välja kontaktpunkter med miljön gör det möjligt för dem att övervinna hinder som är jämförbara med deras benlängd. Med sådana förmågor kan legerade robotar en dag rädda människor i skogar och berg, klättra i trappor för att bära nyttolaster på byggplatser, inspektera ostrukturerade underjordiska tunnlar och utforska andra planeter. Legerade system har potential att utföra alla fysiska aktiviteter som människor och djur kan utföra. En mängd olika bensystem håller på att utvecklas för att föra oss närmare denna framtidsvision. Boston Dynamics introducerade en serie robotar utrustade med hydrauliska ställdon [1, 2]. Dessa har fördelar i drift eftersom de drivs med konventionellt bränsle med hög energitäthet. System av denna typ kan dock inte skalas ned (vanligen > 40 kg) och generera rök och buller, vilket begränsar dem till utomhusmiljöer. En annan familj av legerade system är utrustade med elektriska ställdon, som är bättre lämpade för inomhusmiljöer. MIT Cheetah [3] är ett av de mest lovande bensystem av detta slag. Det är en snabb, effektiv och kraftfull fyrsidig robot designad med avancerad aktiveringsteknik. Det är dock en forskningsplattform som är optimerad främst för hastighet och har inte utvärderats noggrant med avseende på batteriets livslängd, svarvningsförmåga, mekanisk robusthet och utomhustillämpbarhet. Boston Dynamics nya robot, SpotMini, drivs också av elektriska ställdon och är utformad för både inomhus- och utomhusbruk. Även om detaljerna inte har avslöjats är en rad offentliga demonstrationer och medieutgåvor [4] övertygande bevis för att de är tillämpliga på verksamhet i verkligheten. Plattformen som används i detta arbete, ANYmal [5], är en annan lovande fyrsidig robot drivs av elektriska ställdon. Dess bioinspirerade ställdonskonstruktion gör den robust mot slag samtidigt som den möjliggör exakt vridmomentmätning vid fogarna. Den komplicerade ställdonskonstruktionen ökar dock kostnaderna och äventyrar robotens effekt. Att utforma kontrollalgoritmer för dessa hårdvaruplattformar är fortfarande exceptionellt utmanande. Ur kontrollperspektiv är dessa robotar högdimensionella och icke-mjuka system med många fysiska begränsningar. Kontaktpunkterna ändras över tid och beroende på den manöver som utförs och därför kan inte förspecificeras. Analytiska modeller av robotarna är ofta felaktiga och skapar osäkerhet i dynamiken. En komplex sensor svit och flera lager av programvara ger buller och förseningar till informationsöverföring. Konventionella kontrollteorier är ofta otillräckliga för att hantera dessa problem på ett effektivt sätt. Specialiserade kontrollmetoder som utvecklats för att ta itu med detta komplexa problem kräver vanligtvis en lång konstruktionsprocess och mödosam parameterinställning. Den mest populära metoden för att styra fysiska bensystem är modulär controller design. Denna metod bryter ner kontrollproblemet till mindre delmoduler som till stor del är frikopplade och därmed lättare att hantera. Varje modul baseras på malldynamik [6] eller heuristik och genererar referensvärden för nästa modul. Till exempel använder vissa populära metoder [7] [8] [9] [10] en mall-dynamikbaserad styrmodul som approximerar roboten som en punktmassa med en massalös lem för att beräkna nästa fotfästesposition. Med tanke på fothållarna beräknar nästa modul en parameteriserad bana för foten att följa. Den sista modulen spårar banan med en enkel Proportionell-Integral-Derivativ (PID) controller. Eftersom utgångarna för dessa moduler är fysiska storheter, såsom kroppshöjd eller fotbana, kan varje modul anpassas individuellt. På senare tid har man föreslagit metoder för optimering av banan för att mildra de ovan nämnda problemen. I dessa metoder är regulatorn uppdelad i två moduler: planering och spårning. Planeringsmodulen använder styv kroppsdynamik och numerisk optimering för att beräkna en optimal väg som roboten ska följa för att nå önskat mål. Spårningsmodulen används sedan för att följa sökvägen. I allmänhet, banoptimering för en komplex stel kropp modell med många ospecificerade kontaktpunkter är bortom kapaciteten för nuvarande optimeringstekniker. I praktiken används därför en rad approximationer för att minska komplexiteten. Vissa metoder approximerar kontaktdynamiken för att vara smidig [13, 14], vilket gör dynamiken olika. Särskilt Neunert et al. [13] visade att sådana metoder kan användas för att kontrollera en fysisk quarupedal robot. Andra metoder [15] specificerar kontakttider och löser för delar av banor där dynamiken förblir jämn. Några metoder syftar till att lösa detta problem med lite till ingen approximation [16, 17]. Dessa metoder kan upptäcka ett gångmönster (dvs. kontaktsekvens) med hård kontakt modeller och har visat automatisk rörelsegenerering för 2D robotsystem men, liksom alla andra bana optimering tillvägagångssätt, de möjliga kontaktpunkter anges en priori. Medan mer automatiserade än modulära konstruktioner, de befintliga optimeringsmetoderna utför sämre än toppmoderna modulära regulatorer. Den primära frågan är att numerisk optimering av banan fortfarande är utmanande, kräver inställning, och i många fall kan producera suboptimala lösningar. Dessutom måste optimering utföras vid exekveringstidpunkten på roboten, vilket gör dessa metoder beräkning dyrt. Detta problem löses ofta genom att minska precisionen eller köra optimeringen på en kraftfull extern maskin, men båda lösningarna introducerar sina egna begränsningar. Dessutom består systemet fortfarande av två oberoende moduler som inte anpassar sig till varandras prestandaegenskaper. Detta kräver hand-tuning av spåraren; men exakt spårning snabb rörelse genom ett underaktiverat system med många oväntade kontakter är nästan omöjligt. Datadrivna metoder, som förstärkning av lärandet (RL), lovar att övervinna begränsningarna i tidigare modellbaserade metoder genom att lära sig effektiva kontrollanter direkt från erfarenhet. Tanken med RL är att samla in data genom test och fel och automatiskt justera styrenheten för att optimera den givna kostnads (eller belöning) funktion som representerar uppgiften. Denna process är helt automatiserad och kan optimera regulatorns end-to-end, från sensoravläsningar till styrsignaler på låg nivå, vilket möjliggör mycket smidiga och effektiva regulatorer. På nedåtsidan kräver RL vanligtvis oöverkomligt lång interaktion med systemet för att lära sig komplexa färdigheter -typiskt veckor eller månader av realtidsutförande [18]. Dessutom kan regulatorn under utbildningen uppvisa plötsligt och kaotiskt beteende, vilket leder till logistiska komplikationer och säkerhetsproblem. Direkt tillämpning av inlärningsmetoder på fysiska bensystem är därför komplicerad och har endast visats på relativt enkla och stabila plattformar [19] eller i ett begränsat sammanhang [20]. På grund av svårigheterna med träning på fysiska system, de flesta avancerade tillämpningar av RL för leged locomotion är begränsade till simulering. Nya innovationer inom RL gör det möjligt att utbilda rörelsepolitik för komplexa legerade modeller. Levine och Koltun [21] kombinerade inlärning och bana optimering för att träna en locomotion controller för en simulerad 2D walker. Schulman m.fl. [22] tränade en rörelsepolitik för en liknande 2D-gångare med en aktörskritisk metod. Senare arbete fick full 3D-politik [23] [24] [25] [26]. I dessa uppsatser uppnår animerade karaktärer anmärkningsvärda motoriska färdigheter i simulering. Med tanke på de framsteg som gjorts när det gäller att förstärka lärandet i simulerade miljöer är en naturlig fråga om dessa inlärda strategier kan tillämpas på fysiska system. Tyvärr hindras sådan simulering-till-verklighet överföring av verkligheten gapet - skillnaden mellan simulering och det verkliga systemet i termer av dynamik och perception. Det finns två allmänna strategier för att överbrygga klyftan i verkligheten. Den första är att förbättra simuleringens trohet antingen analytiskt eller på ett datadrivet sätt; den senare är också känd som systemidentifiering [27] [28] [29] [30] [31] [32]. Den andra metoden är att acceptera brister i simulering och syftar till att göra regulatorn robust för variationer i systemegenskaper, vilket möjliggör bättre överföring. Denna robusthet kan uppnås genom att randomisera olika aspekter av simuleringen: att använda en stokastisk politik [33], randomisera dynamiken [34] [35] [36] [37], lägga buller till observationerna [38], och störa systemet med slumpmässiga störningar. Båda tillvägagångssätten leder till förbättrad överföring, men den förra är tungrodd och ofta omöjlig, medan den senare kan äventyra politikens resultat. Därför används båda i praktiken tillsammans. Till exempel det senaste arbetet av Tan et al. [35] visar framgångsrik sim-to-real överföring av locomotion policys på en quadrupedal system som kallas Minitaur genom användning av en exakt analytisk ställdon modell och dynamik randomisering. Även om uppnå imponerande resultat, metoden Tan et al. [35] är avgörande beroende av noggrann analysmodellering av ställdonen, vilket är möjligt för direktdrivna ställdon (som används i Minitaur), men inte för mer komplexa ställdon som servoografer, Serie-Elastiska aktuatorer (SEAs) och hydraulcylindrar, som vanligen används i större bensystem. I detta arbete utvecklar vi en praktisk metodik för autonomt lärande och överföring av smidiga och dynamiska motoriska färdigheter för komplexa och stora legerade system, såsom ANYmal robot [5]. Jämfört med de robotar som användes i [35] har ANYmal en mycket större benlängd i förhållande till fotavtryck, vilket gör den mer dynamisk, mindre statiskt stabil, och därför svårare att kontrollera. Dessutom finns det 12 strategiska miljöbedömningar, som är svåra att kontrollera och för vilka det inte finns tillräckligt noggranna analytiska modeller. Gehring m.fl. [39] har försökt sig på analytisk modellering av en strategisk miljöbedömning, men som vi kommer att visa är deras modell inte tillräckligt exakt för att utbilda en högpresterande locomotionscontroller. Vårt tillvägagångssätt sammanfattas i bild. 1................................................................ Vår nyckelinsikt på simuleringssidan är att effektivitet och realism kan uppnås genom att kombinera klassiska modeller som representerar välkända articu- I det första steget identifierar vi robotens fysiska parametrar och uppskattar osäkerheter i identifieringen. I det andra steget tränar vi ett ställdonsnät som modellerar komplexa ställdon/programvaradynamik. I det tredje steget tränar vi en kontrollpolicy med hjälp av de modeller som tagits fram i de två första stegen. I det fjärde steget använder vi den utbildade policyn direkt på det fysiska systemet. Sent system och kontaktdynamik med inlärningsmetoder som kan hantera komplex aktivering (Fig. 1, Steg 1 och 2). De styva länkarna i ANYmal, som är sammankopplade genom högkvalitativa kullager, liknar nära ett idealiserat flerkroppssystem som kan modelleras med välkända fysiska principer [40]. Denna analytiska modell innehåller dock inte den uppsättning mekanismer som kartlägger manöverdonskommandon till de generaliserade krafter som verkar på systemet med stela kroppar: ställdonsdynamiken, fördröjningarna i styrsignalerna som införs av flera hård- och programvarulager, den låga styrenhetens dynamik, och överensstämmelsen/dämpande vid lederna. Eftersom dessa mekanismer är nästan omöjliga att modellera exakt, lär vi oss motsvarande kartläggning på ett end-to-end sätt - från befallda åtgärder till de resulterande vridmomenten - med ett djupt nätverk. Vi lär oss detta aktuatornät på det fysiska systemet via självövervakat lärande och använder det i simuleringsslingan för att modellera var och en av de 12 lederna av ANYmal. Avgörande är att hela hybridsimulatorn, inklusive en styvkroppssimulering och ställverken, körs på nästan 500 K tidssteg per sekund, vilket gör att simuleringen kan köras ungefär tusen gånger snabbare än i realtid. Ungefär hälften av körtiden används för att utvärdera ställdonsnäten, och de återstående beräkningarna utförs effektivt via vår interna simulator, som utnyttjar den snabba kontaktlösaren av Hwangbo et al. [41], effektiva rekursiva algoritmer för beräkning dynamiska egenskaper ledade system (komposit stel kropp algoritm och rekursiv Newton-Euler algoritm) [40], och en snabb kollision upptäckt bibliotek [42]. Tack vare effektiva programimplementeringar behövde vi ingen särskild datorutrustning, såsom multi-CPU eller multi-GPU servrar, för utbildning. Alla träningspass som presenterades i denna uppsats gjordes på en persondator med en CPU och en GPU, och ingen varade mer än elva timmar. Vi använder hybridsimulatorn för träningsledare via förstärkningslärande (Fig. 1 steg 3). Styrenheten representeras av en flerskikts perceptron som tar som ingång historien om robotens tillstånd och producerar som utgång det gemensamma positionsmålet. Specificera olika belöningsfunktioner för RL avkastningsregulatorer för olika uppgifter av intresse. Den utbildade regulatorn sätts sedan ut direkt på det fysiska systemet (Fig. 1 steg 4). Till skillnad från de befintliga modellbaserade kontrollmetoderna är vår föreslagna metod beräkningseffektiv vid körning. Slutsats av det enkla nätverk som används i detta arbete tar 25 μs på en enda CPU-tråd, vilket motsvarar cirka 0,1% av de tillgängliga ombord beräkningsresurserna på roboten som används i experimenten. Detta är i motsats till modellbaserade kontrollmetoder som ofta kräver en extern dator för att fungera med tillräcklig frekvens [13, 15]. Genom att helt enkelt byta nätverksparametern som, den lärda controllern manifesterar mycket olika beteenden. Även om dessa beteenden tränas separat, de delar samma kodbas: bara hög nivå uppgiftsbeskrivning förändringar beroende på beteendet. Däremot är de flesta av de befintliga styrenheterna uppgiftsspecifika och måste utvecklas nästan från grunden för varje ny manöver. Vi tillämpar den presenterade metoden för att lära sig flera komplexa motoriska färdigheter som används på den fysiska fyrdubblade. För det första gör regulatorn det möjligt för ANYmal-roboten att följa bashastighetskommandon mer exakt och energieffektivt än den bästa tidigare existerande regulatorn som körs på samma hårdvara. För det andra, styrenheten gör roboten köra snabbare än någonsin tidigare, bryta tidigare hastighet rekord av ANYmal med 25 %. Styrenheten kan fungera på gränsen till hårdvaran och skjuta prestanda till max. För det tredje lär vi oss en regulator för dynamisk återhämtning från ett fall. Denna manöver är exceptionellt utmanande för befintliga metoder, eftersom det innebär flera ospecificerade interna och externa kontakter. Det kräver fin samordning av åtgärder över alla lemmar och måste använda momentum för att dynamiskt vända roboten. Såvitt vi vet har sådan återhämtning aldrig tidigare uppnåtts på en fyrdubblad av jämförbar komplexitet. Film S1 sammanfattar resultaten och metoden för detta arbete. I följande underavsnitt beskriver vi resultaten i detalj. I de flesta praktiska scenarier styrs robotens rörelse av navigeringskommandon på hög nivå, såsom önskad riktning och rörelsehastighet. Dessa kommandon kan till exempel tillhandahållas av en högre planeringsalgoritm eller av en användare via teledrift. Med vår metod tränade vi en locomotion policy som kan följa sådana kommandon på runtime, anpassa gång efter behov, utan förkunskaper om kommandosekvens och timing. Ett kommando består av tre komponenter: framåthastighet, lateral hastighet och girhastighet. Vi utvärderar först kvalitativt denna inlärda rörelsepolitik genom att ge slumpmässiga kommandon med hjälp av en joystick. Dessutom störs roboten under experimentet av flera externa knuffar till huvudkroppen. Det resulterande beteendet visas i filmen S2. Videon visar cirka 40 sekunder av robust kommando efter. Vi testade också politiken i fem minuter utan ett enda misslyckande, vilket visar hur robust den lärda politiken är. Den utbildade policyn utför stabilt inom kommandodistributionen som den är tränad på, med någon slumpmässig kombination av kommandot hastigheter. Även om den främre kommandohastigheten provtas från U(−1, 1) m/s under utbildningen, når den utbildade policyn 1,2 m/s av uppmätt framåthastighet på ett tillförlitligt sätt när den främre kommandohastigheten ställs in något högre (1,23 m/s) och de andra kommandohastigheterna är inställda på noll. Därefter utvärderar vi kvantitativt denna inlärda rörelsepolicy genom att köra roboten med slumpmässiga kommandon. Kommandonen provtas enligt beskrivningen i avsnitt S2. Roboten får ett nytt kommando varannan sekund och kommandot hålls konstant däremellan. Provningen utförs i 30 sekunder och totalt 15 slumpmässiga övergångar utförs, inklusive den inledande övergången från nollhastighet. Bashastighetsdiagrammet visas i figur. S1............................................................................................................ Det genomsnittliga linjära hastighetsfelet var 0,143 m/s och det genomsnittliga girhastighetsfelet var 0,174 rad/s. Vi jämför nu den lärda controllern med den bäst presterande befintliga locomotion controllern tillgänglig för ANYmal [12]. För detta experiment, använde vi en flygande trav gång mönster (trot med full flygfas), eftersom detta är den enda gång som stabilt når 1,0 m/s framåt hastighet. Vi använde samma hastighetskommandoprofil som resulterar i bashastigheten som visas i fikon. S2............................................................................................................ Det genomsnittliga linjära hastighetsfelet var 0,231 m/s och det genomsnittliga girhastighetsfelet var 0,278 rad/s. Med tanke på samma kommandoprofil är den modellbaserade styrenhetens spårningsfel cirka 95 % högre än vår lärda styrenhet med avseende på linjär hastighet och cirka 60 % högre med avseende på girhastighet. Dessutom använde vår lärda styrenhet mindre vridmoment (8,23 Nm jämfört med 11,7 Nm) och mindre mekanisk effekt (78.1 W jämfört med 97,3 W) i genomsnitt. Film S3 illustrerar experimenten för både den inlärda politiken och den modellbaserade politiken. Kontrollprestandan utvärderades också och jämfördes i framåtgående körning. För detta ändamål skickade vi en stegingång med fyra olika hastighetskommandon (0,25, 0,5, 0,75 och 1,0 m/s) för 4,5 s vardera. Resultaten, inklusive en jämförelse med föregående metod [12], visas i bild. 2............................................................... Figur 2A visar det flygtrotmönster som upptäckts av den inlärda styrenheten. Observera att denna flygfas försvinner för låg hastighet kommandon och ANYmal visar walking trav som visas i filmen S2. Även utan att ange gångmönstret manifesterar den inlärda politiken traven, ett gångmönster som vanligen observeras hos fyrfaldiga djur. Figur 2B visar noggrannheten för hastighetsspårning av policyn både i simulering och på den riktiga roboten. Observera att svängningen av den observerade hastigheten runt den befallda är ett välkänt fenomen i bensystem, inklusive människor [43]. När det gäller genomsnittlig hastighet har den inlärda policyn ett fel på 2,2 % på den verkliga roboten, 1,1 % högre än i en simulering. Figur 2C, 2D och 2E jämför prestandan hos den inlärda regulatorn med Bellicoso et al. [12] när det gäller noggrannhet och effektivitet. Vi använde två gångar från [12] för jämförelsen: flygande trav, den enda gång som kan uppnå 1 m/s, och dynamisk lateral gång, den mest effektiva gång. Först jämför vi hastighetsfelet vid olika befallda hastigheter i Bild. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning. Den inlärda styrenheten är mer exakt än den tidigare styrenheten för alla befallda hastigheter: med en faktor på 1,5 till 2,5 jämfört med den dynamiska sidogången och med en faktor på 5 till 7 jämfört med den flygande traven, beroende på hastigheten. Jag tänkte väl det. 2D visar den mekaniska uteffekten som en funktion av den uppmätta hastigheten. Den lärda regulatorn utför på samma sätt som den dynamiska laterala promenaden och effektivare än den flygande traven med en faktor på 1,2 till 2,5, beroende på hastigheten. Äntligen, Fig. 2E ritar den genomsnittliga uppmätta vridmomentstorleken mot den uppmätta hastigheten. Den inlärda styrenheten är betydligt effektivare i detta avseende än båda tidigare gångar, med 23–36 % mindre vridmoment beroende på hastigheten. Denna stora förbättring av effektiviteten är möjlig eftersom den lärda regulatorn går med 10 till 15 grader rakare nominell knäställning. Den nominella hållningen kan inte justeras till denna nivå i Bellicoso et al. eftersom detta drastiskt skulle öka graden av misslyckande (faller). Därefter jämför vi vår metod med ablade alternativ: träning med en idealisk ställdonsmodell och träning med en analytisk ställdonsmodell. Den idealiska ställdonsmodellen förutsätter att alla regulatorer och hårdvara inuti ställdonet har oändlig bandbredd och noll latens. Den analytiska modellen använder den faktiska styrkoden som körs på ställdonet tillsammans med identifierade dynamiska parametrar från experiment och verktyg för ComputerAided Design (CAD). Vissa parametrar, såsom latens, dämpning och friktion, är handjusterade för att öka noggrannheten hos förutsagt vridmoment i förhållande till data som erhållits från experiment. Den politiska utbildningen för varje metod är identisk med vår. Båda de alternativa metoderna kunde inte göra ett enda steg utan att falla. De resulterande rörelserna visas i filmerna S4 och S5. Vi såg en våldsam skakning av armar och ben, förmodligen på grund av att vi inte tog hänsyn till olika förseningar på rätt sätt. Även om den analytiska modellen innehåller flera fördröjningskällor som är inställda med hjälp av verkliga data, är det komplicerat att exakt modellera alla fördröjningskällor när ställdonet har begränsad bandbredd. SEA-mekanismer genererar amplitudberoende mekanisk svarstid och manuell inställning av latensparametrar blir en utmaning. Vi har justerat den analytiska modellen i mer än en vecka utan större framgång.  I föregående avsnitt utvärderade vi den inlärda regulatorns allmängiltighet och robusthet. Nu fokuserar vi på att arbeta nära hårdvarans gränser för att nå högsta möjliga hastighet. Begreppet hög hastighet är i allmänhet hårdvaruberoende. Det finns några leged robotar som är exceptionella i detta avseende. Park m.fl. [44] visade full 3D leged locomotion på över 5,0 m/s med MIT Cheetah. Boston Dynamics WildCat har rapporterats nå 8,5 m/s [45]. Dessa robotar är konstruerade för att köras så snabbt som möjligt medan ANYmal är utformad för att vara robust, pålitlig och mångsidig. Den aktuella hastighetsrekordet på ANYmal är 1,2 m/s och har ställts in med hjälp av den flygande trav gång [12]. Även om detta kanske inte verkar högt, är det 50 % snabbare än tidigare hastighetsrekord på plattformen [39]. Sådana hastigheter är utmanande att nå via konventionell controller design samtidigt som alla gränser för hårdvaran respekteras. Vi har använt den framlagda metoden för att träna en höghastighetslocomotion controller. Denna styrenhet testades på det fysiska systemet genom att långsamt öka den befallda hastigheten till 1,6 m/s och sänka den till noll efter 10 meter. Främre hastighet och ledhastigheter/trång visas i bild. 3............................................................... ANYmal nådde 1,58 m/s i simulering och 1,5 m/s på det fysiska systemet när kommandot var inställt på 1,6 m/s. Alla hastighetsvärden beräknades med ett medelvärde över minst 3 gångcykler. Styrenheten använde både det maximala vridmomentet (40 Nm) och den maximala ledhastigheten (12 rad/s) på det fysiska systemet enligt bild. 3B och 3C. Detta visar att den inlärda politiken kan utnyttja hårdvarans fulla kapacitet för att uppnå målet. För de flesta befintliga metoder, planering samtidigt som redovisning för begränsningarna i hårdvaran är mycket utmanande, och genomförandet av planen på det verkliga systemet tillförlitligt är ännu svårare. Inte ens de senaste metoderna [12, 46] kan begränsa aktiveringen under planeringen på grund av begränsningar i deras planeringsmodul. Moduler i sina regulatorer är inte medvetna om begränsningarna i de senare stadierna och deras utgångar kanske därför inte kan realiseras i det fysiska systemet. Den gångmönster produceras av vår lärda höghastighetståg regulator, visas i Bild. 3D, skiljer sig från den som visas av den kommando-konditionerade locomotion controller. Det är nära till en flygande trav men med betydligt längre flygfas och asymmetrisk flygfas varaktighet. Detta är inte ett vanligt observerat gångmönster i naturen och vi misstänker att det är bland flera nära-optimala lösningslägen för denna uppgift. Policyns beteende illustreras i filmen S6. Legerade system ändrar kontaktpunkter när de rör sig och är därmed benägna att falla. Om en leged robot faller och inte autonomt kan återställa sig själv till en upprätt konfiguration, måste en mänsklig operatör ingripa. Det är därför mycket önskvärt med en autonom återhämtning efter en nedgång. En möjlighet är att representera återhämtningsbeteenden och väl avpassade gemensamma banor som helt enkelt kan spelas upp igen: ett tillvägagångssätt som har använts i vissa kommersiella system [47]. Sådana banor har krävt mödosam manuell inställning. De tar också mycket lång tid att utföra eftersom de inte tar hänsyn till dynamiken i rörelseplanen eller kontrollen. Vissa robotar är utformade så att återhämtning är antingen onödigt eller trivialt [48, 49]. En sådan konstruktion är dock kanske inte möjlig för större och mer komplexa maskiner. Morimoto m.fl. [50] visade att en stående rörelse kan läras på en riktig robot. En enkel trelänkskedja användes dock för demonstration och metoden har inte skalats till realistiska system. Snabb och flexibel återhämtning efter ett fall, som setts hos djur, kräver dynamisk rörelse med flera ospecificerade kontaktpunkter. Kollisionsmodellen för våra fyrhjulingar är mycket komplicerad: den består av 41 kollisionskroppar, såsom lådor, cylindrar och sfärer (Fig. 1 steg 1). Att planera en genomförbar bana för en sådan modell är oerhört komplicerat. Även att simulera ett sådant system är utmanande eftersom det finns många interna kontakter. Vi använder Hwangbo et al. [41] på grund av dess förmåga att hantera en sådan simulering på ett numeriskt stabilt sätt. Med hjälp av den framlagda metoden tränade vi en återhämtningspolitik och testade den på den riktiga roboten. Vi placerar ANYmal i nio slumpmässiga konfigurationer och aktiverar styrenheten som visas i filmen S7. Många utmanande konfigurationer testas, inklusive en nästan helt upp och nedvänd konfiguration (pose 8) och mer komplexa kontaktscenarier där ANYmal vilar på sina egna ben (pose 2 och 4). I alla tester vände sig ANYmal framgångsrikt upprätt. En exempelrörelse visas i bild. 4........................................... Dessa agila och dynamiska beteenden visar att vårt tillvägagångssätt kan lära sig att utföra kontroller för uppgifter som är svåra eller omöjliga att hantera med tidigare metoder. Den inlärningsbaserade kontrollmetod som presenteras i detta dokument uppnådde en ny nivå av rörelseförmåga baserad enbart på utbildning i simulering och utan tråkig inställning på den fysiska roboten. Systemet uppnådde mer exakta och energieffektiva rörelser än den senaste tekniken. Den överträffade tidigare hastighetsrekord med 25 % och lärde sig att konsekvent återställa roboten till en operativ konfiguration genom att dynamiskt rulla över sin kropp. Befintliga styrenheter skapas av ingenjörer. En modell med tillräcklig komplexitet måste utformas och en kontrollstrategi måste utvecklas, testas och justeras. Denna process tar vanligtvis månader och måste upprepas för varje distinkt manöver. Den simulerings- och inlärningsram som används i detta arbete är däremot tillämplig på alla stela kroppssystem. För tillämpningar till nya uppgifter kräver vår metod endast en uppgiftsbeskrivning, som består av kostnadsfunktionen, den initiala tillståndsfördelningen och randomisering. I vår metod, lärd ställdon dynamik minska verkligheten gapet avsevärt, medan stokastisk modellering vägleder politiken för att vara tillräckligt konservativ. Recovery uppgiften var framgångsrik på det allra första försöket på hårdvaran. Vi förbättrade sedan framgångsgraden ytterligare till 100 % genom att lätta på de gemensamma hastighetsbegränsningarna. De resultat som presenteras här erhölls den andra dagen av experiment på det fysiska systemet. Däremot, på grund av många modell-abstraktion lager som är nödvändiga för att göra beräkningen dragbar, tidigare metoder ofta inte kan utnyttja en sofistikerad ställdon modell för att styra ett komplext bened system. Följaktligen äventyrar de ofta prestandan eller förlitar sig på väl avstämda styrenheter på låg nivå. Till exempel styrenheter på låg nivå (t.ex. spårningsregulatorer och helkroppsregulatorer) måste i stor utsträckning ställas in i den testade modellbaserade styrenheten [12] för att minska fel på ställdonen. De inlärda policyerna är också robusta till förändringar i hårdvara, såsom de som orsakas av slitage. Alla kontrollregler har testats i mer än tre månader på den riktiga roboten utan några ändringar. Under denna period var roboten starkt använd med många regulatorer, inklusive de som presenteras här. Många maskinvaruändringar infördes också: olika robotkonfigurationer, som ungefär bidrar med 2,0 kg till totalvikten, och en ny enhet som har en fjäder tre gånger styvare än den ursprungliga. Alla politiska åtgärder som presenteras i detta dokument har genomförts på ett robust sätt även under sådana förhållanden. När det gäller beräkningskostnader har vår strategi en fördel framför tidigare metoder. Även om det kräver flera timmars träning med en vanlig stationär PC, den slutsats på roboten kräver mindre än 25 μs med hjälp av en enda CPU-tråd. Vår metod förskjuter nästan alla beräkningskostnader till utbildningsfasen, där vi kan använda externa beräkningsresurser. Tidigare regulatorer kräver ofta två storleksordningar mer ombord beräkning. Dessa krävande krav begränsar graden av förfining och därmed regulatorns övergripande prestanda. Att använda ett policynätverk som direkt ger ett gemensamt kommando ger en annan fördel till vår metod. I motsats till många tidigare metoder som har numeriska problem vid singular konfigurationer av roboten, kan våra policyer utvärderas vid alla konfigurationer. Följaktligen är vår metod fri från ad hoc-metoder (t.ex. förgreningsvillkor) för att lösa sådana frågor. Även om vårt tillvägagångssätt tillåter till stor del automatiserade upptäckter av prestationspolicyer, kräver det fortfarande viss mänsklig expertis. En kostnadsfunktion och en initial tillståndsfördelning måste utformas och ställas in för varje uppgift. För en person med god förståelse för både uppgiften och RL tar denna process ungefär två dagar för den rörelsepolitik som presenteras i detta arbete. Även om detta fortfarande är betydande tid, all nödvändig inställning sker i simulering. Därför kommer utvecklingstiden att fortsätta att minska i takt med att beräkningstekniken utvecklas. Däremot kräver de tidigare kontrollanter som använder modellens abstraktioner oundvikligen mer utvecklingstid och ofta omfattande inställning av de verkliga systemen. Att utveckla återhämtningspolitiken tog ungefär en vecka, till stor del på grund av att vissa säkerhetsproblem (dvs. höga effekter, snabba svängben, kollisioner med ömtåliga komponenter osv.) inte är särskilt intuitiva att inbädda i en kostnadsfunktion. Att uppnå ett stand-up beteende var lika enkelt som andra uppgifter. Men för att uppnå de säkra och robusta beteenden som visas i detta arbete, måste kostnadsfunktionen justeras flera gånger. Längre utvecklingstid tillskrevs också det faktum att den tränades av en person som inte hade någon tidigare erfarenhet av någon riktig robot. För att utbilda policyer för en ny robot måste nödvändiga modelleringsinsatser göras. Detta inkluderar styv karossmodellering med hjälp av CAD-modellen och ställdonsmodellering med hjälp av ett manöverdonsnätverk. Den första är ofta automatiserad av modern CAD-programvara och den senare är enkel om alla nödvändiga infrastrukturer för programvara/hårdvaror (t.ex. loggning, regression och vridmomentmätningar) finns på plats. Om inte, tar det också en betydande del av utvecklingstiden. Dessutom finns det ett fåtal aktiveringstyper som manifesterar kopplade dynamiker (t.ex. hydrauliska ställdon som delar en enda ackumulator). Lärande ställdon på egen hand kanske inte ger tillräcklig noggrannhet för dessa system. Med god förståelse för ställdonsdynamiken kan lämplig historikkonfiguration uppskattas i förväg och justeras ytterligare med avseende på valideringsfelet. Däremot tar det minst tre veckor att konstruera en analytisk ställdonsmodell för ANYmal även om det finns en mycket liknande modell som studeras i litteraturen [39]. Modellen har också många fler parametrar, varav många inte exakt kan erhållas från mätningar eller datablad. Följaktligen kräver det mer inställning än att bygga ett manöverdonsnätverk. En annan begränsning av vårt tillvägagångssätt iakttogs under denna studies gång. Ett enda neuralt nätverk tränas i en session manifesterar enfacetterade beteenden som inte generaliseras över flera uppgifter. Att införa hierarkisk struktur i det politiska nätverket kan avhjälpa detta och är en lovande väg för framtida arbete [25].  I detta avsnitt beskrivs i detalj simuleringsmiljön, utbildningsprocessen och utplaceringen på det fysiska systemet. En översikt över vår träningsmetod visas i bild. 5................................................................ Träningsslingan fortsätter enligt följande. Den styva kroppssimulatorn ger nästa tillstånd hos roboten med tanke på ledens vridmoment och det aktuella tillståndet. Ledhastigheten och positionsfelet buffras i en gemensam tillståndshistorik inom en ändlig tid fönster. Kontrollpolicyn, som genomförs av en flerskikts perceptron med två dolda skikt, kartlägger observationen av det nuvarande tillståndet och den gemensamma statens historia till de gemensamma positionsmålen. Slutligen kartlägger manöverdonsnätet den gemensamma tillståndshistoriken och de gemensamma positionsmålen till 12 ledvridmomentvärden, och loopen fortsätter. I det följande beskriver vi varje komponent i detalj. För att effektivt träna en komplex politik inom en rimlig tid och överföra den till den verkliga världen behöver vi en simuleringsplattform som är både snabb och korrekt. En av de största utmaningarna med vandrande robotar är dynamiken vid intermittenta kontakter. I detta syfte använder vi den styva kroppskontaktslösaren som presenterades i vårt tidigare arbete [41]. Denna kontaktlösare använder en hård kontaktmodell som till fullo respekterar Coulomb friktionskonrestriktionen. Denna modellering teknik kan exakt fånga den sanna dynamiken i en uppsättning stela kroppar som gör hårda kontakter med sin miljö. Lösaren är inte bara korrekt utan också snabb, vilket genererar cirka 900 000 tidssteg per sekund för den simulerade fyrdubblade på en vanlig stationär maskin. Eftersom vi behöver hundratals miljoner prover för att träna en komplicerad politik, var den här lösaren nyckeln till vårt arbete. Kopplingarnas tröghetsegenskaper beräknas utifrån CAD-modellen. Vi förväntar oss upp till cirka 20 % fel i uppskattningen på grund av omodellerad kablage och elektronik. För att ta hänsyn till sådana modellering felaktigheter stärker vi policyn genom utbildning med 30 olika ANYmal modeller med stokastiskt prov på tröghetsegenskaper. Centralen av massa positioner, massor av länkar, och gemensamma positioner randomiseras genom att lägga till ett buller som provtas från U(−2, 2) cm, U(‐15, 15) %, respektive U(‐2, 2) cm, respektive. Aktivatorer är en viktig del av bensystem. Snabba, kraftfulla, lätta och högexakta ställdon översätter vanligtvis till dynamiska, mångsidiga och smidiga robotar. De flesta legerade system drivs av hydrauliska ställdon [51] eller elektriska motorer med växlar [3], och vissa inkluderar även dedikerad mekanisk överensstämmelse [5, 52]. Dessa ställdon har en sak gemensamt: de är extremt svåra att modellera exakt. Deras dynamik involverar nonlinear och nonsmooth dissipation och de innehåller kaskad feedback loopar och ett antal interna tillstånd som inte ens är direkt observerbara. Gehring m.fl. [39] har ingående studerat modellering av SEA-ställdon. Modellen av Gehring et al. innehåller närmare hundra parametrar som måste uppskattas från experiment eller antas vara korrekta från datablad. Denna process är felbenägen och tidskrävande. Dessutom ger många tillverkare inte tillräckligt detaljerade beskrivningar av sina produkter och en analytisk modell kanske därför inte är genomförbar. I detta syfte använder vi övervakad inlärning för att få en actionto-torque relation som inkluderar all programvara och maskinvarudynamik inom en kontrollloop. Mer exakt tränar vi ett manöverdonsnätverk som ger ett uppskattat vridmoment vid fogarna med tanke på en historik av positionsfel (den faktiska positionen subtraherade från den befallda positionen) och hastigheter. I detta arbete utgår vi från att dynamiken hos ställdonen är oberoende av varandra så att vi kan lära oss en modell för varje ställdon separat. Detta antagande kanske inte är giltigt för andra typer av aktivering. Till exempel, hydrauliska ställdon med en enda gemensam ackumulator kan manifestera kopplade dynamik och ett enda stort nätverk, som representerar flera ställdon tillsammans, kan vara mer önskvärt. Tillstånden hos ställdonen är endast delvis observerbara eftersom de interna tillstånden hos ställdonen (t.ex. tillstånden hos de interna styrenheterna och motorhastigheten) inte kan mätas direkt. Vi antar att nätverket kan tränas för att uppskatta de interna staterna med tanke på en historia av positionsfel och hastigheter, eftersom den givna informationen annars helt enkelt är otillräcklig för att kontrollera roboten på ett tillfredsställande sätt. Det ställdon som används i detta arbete är revolut och radiellt symmetriskt, och det absoluta vinkelläget är irrelevant med tanke på positionsfelet. Vi använder en historik bestående av det nuvarande tillståndet och två tidigare tillstånd som motsvarar t − 0,01 och t − 0,02 sekunder. Observera att alltför sparsam ingångskonfiguration kanske inte effektivt fångar dynamiken vid hög frekvens (> 100 Hz). Denna fråga mildras delvis genom införandet av en smidig kostnadsterm, som straffar plötsliga förändringar i politikens resultat. Alltför tät historia kan också ha negativa effekter: den är mer benägna att översitta och beräkna dyrare. Historiens längd bör väljas så att den är tillräckligt längre än summan av alla kommunikationsförseningar och den mekaniska svarstiden. I praktiken justeras den exakta inmatningskonfigurationen med avseende på valideringsfelet. Denna inställningsprocess tar ofta mindre än en dag eftersom nätverket är mycket litet. För att träna nätverket samlade vi in en datauppsättning bestående av gemensamma positionsfel, gemensamma hastigheter och vridmoment. Vi använde en enkel parameteriserad styrenhet som genererar fotbanor i form av en sinusvåg; motsvarande gemensamma positioner beräknades med hjälp av omvänd kinematics. Fötterna gjorde ständigt eller bröt en kontakt med marken under datainsamlingen så att de resulterande banorna i stort sett härmade banorna följt av en locomotion controller. För att få en rik uppsättning data varierade vi amplituden (5-10 cm) och frekvensen (1-25 Hz) av fotbanorna och störde roboten manuellt under datainsamlingen. Vi fann att spänningen måste täcka ett brett spektrum av frekvensspektrum eftersom den tränade modellen annars genererar onaturlig oscillation även under träningsfasen. Datainsamlingen tog mindre än 4 minuter eftersom data kan samlas in parallellt från de 12 identiska ställdonen på Anymal. Data samlades in vid 400 Hz, därför innehåller det resulterande datasetet mer än en miljon prover. Cirka 90 % av de data som genererades användes för utbildning och resten användes för validering. Ställdonsnätverket är en flerskikts perceptron (MLP) med 3 dolda lager på 32 enheter vardera (Fig. 5, " aktuatornät" rutan). Efter testning med två gemensamma smidiga och avgränsade aktiveringsfunktioner -tanh och softsign [53] - valde vi softsign aktiveringsfunktionen, eftersom den är beräkningseffektiv och ger en smidig kartläggning. Att utvärdera ställdonsnätet för alla 12 fogar tar 12,2 μs med softsign och 31,6 μs med tanh. Som visas här resulterar tanh-aktiveringsfunktionen i en högre beräkningskostnad och är därför mindre att föredra. De två aktiveringsfunktionerna resulterade i ungefär samma valideringsfel (0.70.8 Nm i RMS). Valideringsresultatet med softsign-funktionen visas i bild. 6............................................................. Det tränade nätverket förutspår nästan perfekt vridmomentet från valideringsdata, medan den idealiska manöverdonsmodellen inte ger en rimlig förutsägelse. Här utgår den idealiska ställdonsmodellen från att det inte finns någon kommunikationsfördröjning och att ställdonet omedelbart kan generera något befallt vridmoment (dvs. oändlig ställdonsbandbredd). Den utbildade modellen har ett genomsnittsfel på 0,740 Nm på valideringssetet, vilket inte är långt från upplösningen av vridmomentmätningen (0,2 Nm) och mycket mindre än felet hos den idealiska ställdonsmodellen (3.55 Nm). Dess förutsägelsefel på testdata (dvs. samlas in med hjälp av den utbildade locomotion policyn) är betydligt högre (0.966 Nm) men fortfarande mycket mindre än den idealiska modellen (5.74 Nm). Vi representerar kontrollproblemet i diskretiserad tid. Vid varje gång steg t agenten får en observation o t  på O, utför en åtgärd a t  på A, och uppnår en skalar belöning r t  på R. Vi hänvisar till belöning och kostnad utbytbart, med kostnaden är negativ av belöningen. Vi betecknar med O t = o t, o t-1,. .......................................................................... Agenten väljer åtgärder enligt en stokastisk politik π (a t  på O t ), som är en fördelning över åtgärder som är beroende av de senaste iakttagelserna. Syftet är att hitta en politik som maximerar den diskonterade summan av belöningar över en oändlig horisont: där γ 0, 1) är rabattfaktorn och τ (π) är banan fördelning under politik π (fördelningen beror både på politiken och miljön dynamik). I vår inställning är observationerna mätningarna av robottillstånd som tillhandahålls till regulatorn, åtgärderna är positionskommandon till ställdonen, och belöningarna specificeras för att framkalla beteendet av intresse. En mängd olika förstärkande inlärningsalgoritmer kan tillämpas på den specificerade policyoptimering problem. Vi valde Trust Region Policy Optimering (TRPO) [22], en policygradientalgoritm som har visat sig lära sig locomotion policys i simulering [54]. Det kräver nästan ingen parameterinställning; vi använder bara standardparametrarna (som anges i [22, 54] ) för alla inlärningssessioner som presenteras i detta dokument. Vi använde en snabb anpassad implementering av algoritmen [55]. Denna effektiva implementering och snabba stela kroppssimulering [41] gjorde det möjligt för oss att generera och bearbeta omkring en kvarts miljard statsövergångar på ungefär fyra timmar. En inlärningssession avslutas om politikens genomsnittliga resultat inte förbättras med mer än en uppgiftsspecifik tröskel inom 300 TRPO iterationer. Observationerna i vår metod bör vara observerbara (dvs. kan härledas från mätningar) på den riktiga roboten och relevanta för uppgiften. De gemensamma vinklarna, hastigheterna och kroppsvridningen är alla observerbara och mycket relevanta. Att mäta kroppsorienteringen är inte enkelt eftersom endast två frihetsgrader i orienteringen kan observeras med en tröghetsmätningsenhet (IMU). Den uppsättning observerbara grader i orienteringen är i bijection med S 2, eller med en enhet vektor, som kan tolkas som riktningen för gravitationsvektorn uttryckt i IMU ram. Vi betecknar denna enhet vektor som  ska g. Höjden på basen är inte observerbar, men vi kan uppskatta det från benet kinematics, förutsatt att terrängen är platt. En enkel höjduppskattning baserad på ett 1D Kalman-filter genomfördes tillsammans med den befintliga statsuppskattningen [56]. Men eftersom denna höjduppskattning inte kan användas när roboten inte är på fötter, tog vi bort höjdobservationen när vi tränade för återhämtning från ett fall. Hela observationen vid t = t k definieras som o k = k = nings g, r z, v, en, en, en, en k−1, C, där r z, v, och en är höjd, linjära, och vinkel hastigheter i basen, en och en är positioner och hastigheter i lederna,  och är en glest samstat historia, en k‐1 är den tidigare åtgärden, och C är kommandot. Den gemensamma statens historia provtas vid t = t k − 0,01 s och t = t k − 0,02 s. Den gemensamma statens historia var nödvändig för att utbilda en rörelsepolitik. Vi tror att detta beror på det faktum att det möjliggör kontakt upptäckt. Ett alternativt sätt att upptäcka kontakter är att använda kraftsensorer som ger en tillförlitlig uppskattning av kontakttillståndet. Sådana sensorer ökar dock vikten av end-effectors och sänker därmed robotens energieffektivitet. Den exakta historiekonfigurationen hittades empiriskt genom att analysera det slutliga resultatet av policyn. Vår policy ger låga impedans gemensamma positionskommandon, som vi finner vara mycket effektiva i många uppgifter. Peng m.fl. [57] fann att en sådan styrenhet kan överträffa en momentregulator i både träningshastighet och slutkontrollprestanda. Även om det alltid finns en bijectiv karta mellan dem, de två handlingsparameteriseringar har olika smidighet och därmed olika träningssvårigheter. Dessutom har en positionspolicy en fördel i utbildningen eftersom den börjar som stående regulator medan en momentregulator initialt skapar många banor som resulterar i fallande. Därför använder vi policynätverket som en impedanskontrollant. Vårt nätverk ger en enda positionsreferens, som omvandlas till vridmoment med hjälp av fasta vinster (k p = 50 Nm/rad och k d = 0,1 Nm/rad/s) och noll målhastighet. Positionsvinsten väljs till ungefär det nominella vridmomentintervallet (±30 Nm) dividerat med det nominella rörelseområdet (±0,6 rad). Detta säkerställer att policynätverket har ett liknande utgångsområde för vridmoment och position. Hastighetsvinsten väljs för att vara tillräckligt hög för att förhindra oönskad oscillation på den riktiga roboten. Från vår erfarenhet är den slutliga locomotionsprestandan robust mot en liten förändring i vinster. Till exempel att öka positionsvinsten till 80 Nm/rad ändrar inte prestandan märkbart. Observera att positionspolicyn vi använder här skiljer sig från positionsregulatorer som vanligen används inom robotik. Positionsregulatorer är ibland begränsade i prestanda när positionsreferensen är tidsindexerad, vilket innebär att det finns en styrenhet på högre nivå som förutsätter att positionsplanen följs med hög noggrannhet. Detta är den främsta anledningen till att momentregulatorer har blivit populära i legged robotics. Men liksom i många andra RL-litteratur är vår kontrollpolicy statsindexerad och lider inte av begränsningarna hos vanliga PD-kontrollanter. Policyn är tränad för att förutse att positionsfel uppstår och även använder dem för att generera acceleration och interaktionskrafter. Dessutom, tack vare den kinematiska randomiseringen, är en utbildad politik inte enbart beroende av kinematiken: politiken måste oundvikligen lära sig att utöva lämpliga impulser på miljön för rörelse. Detta gör vår policy mer robust eftersom impulsbaserade kontrollmetoder är kända för att vara mer robusta mot systemförändringar och modellers felaktigheter [44]. De styrpolicyer som presenterades i detta arbete tränades endast i simulering. För att träna prestationspolicyer med endast simulerade data följer vi både standard- och problemspecifika utbildningsförfaranden. Här beskriver vi dem i detalj och förklarar logiken bakom dem. I litteraturen har man flera gånger visat på policyer för kontroll av lokomotion. [22, 24, 25]............................................................ Många av de utbildade politikerna uppvisar emellertid inte naturliga rörelser, och det är mycket tveksamt om de kommer att arbeta med fysiska system. Vissa forskare har lagt märke till att naiva metoder inte kan generera naturligt utseende och energieffektiva rörelsebeteenden [58]. Låg straff på gemensamma vridmoment och hastighet resulterar i onaturliga rörelser medan hög straff på dem resulterar i ett stående beteende. Den främsta orsaken till stående beteende är att ett sådant beteende är redan ett bra lokalt minimum när det finns höga straff i samband med rörelse. Vi löste detta problem genom att införa en läroplan: genom att använda en läroplan formar vi det ursprungliga kostnadslandskapet så att politiken är starkt attraherad av en politik för rörelse och sedan polera förslaget för att uppfylla de andra kriterierna. En enkel läroplan skapades genom modulering av koefficienterna för kostnadstermer och störningen via en multiplikativ läroplansfaktor. Vi definierar en läroplansfaktor som beskriver utvecklingen av läroplanen: k c = k 0  på (0, 1) motsvarar början av läroplanen och k c = 1 motsvarar den slutliga svårighetsnivån. De mellanliggande värdena beräknas som k c,j+1 ← (k c,j ) k d, där k d  till (0, 1) är förskottsbetalningen, som beskriver hur snabbt den slutliga svårighetsnivån uppnås, och j är iterationsindexet för RR-utbildning. Ordningen av läroplansfaktorer är monotont ökande och asymptotiskt konvergerar till 1 inom givna parameterintervall. Vi misstänker att många andra uppdateringsregler som följer dessa kriterier kommer att resultera i liknande inlärningsresultat. Alla kostnadsvillkor multipliceras med denna läroplansfaktor, utom de kostnadsvillkor som är relaterade till målet (dvs. kostnaden för bashastighetsfel i den kommandokonditionerade och snabba locomotionsuppgiften och basorienteringskostnaden i återhämtningsuppgiften). På så sätt lär sig roboten först hur man uppnår målet och sedan hur man respekterar olika begränsningar. Denna teknik är relaterad till läroplansinlärning introducerad av Bengio et al. [59], som stegvis introducerar prover av fler svårigheter. I stället för att ändra proverna ändrar vi målet att kontrollera träningssvårigheterna. För alla träningspass använder vi k 0 = 0,3 och k d = 0,997. Parametern k 0 bör väljas för att förhindra den ursprungliga tendensen att stå stilla. Den kan enkelt ställas in genom att observera de första hundra iterationerna av RL-algoritmen. Parametern k d väljs så att läroplansfaktorn nästan når 1 (eller 0.9) i slutet av utbildningen. Även om det antal iterationer som krävs inte är känt a priori finns det tillräckligt med publikationer om RL-tillämpningar (inklusive denna) för att ge användarna nödvändiga insikter. Vi har justerat rabattfaktorn γ (ekv. Eq. Vad är det? (1)) separat för varje uppgift baserat på de utbildade kontrollanternas kvalitativa prestanda i simuleringen. För att träna den kommandokonditionerade regulatorn och den snabba regulatorn använde vi γ = 0.9988 vilket motsvarar en halveringstid på 5.77 s. Vi har också framgångsrikt tränat nästan lika performant policys med lägre halveringstid (2 s) men de uppvisar en mindre naturlig stående hållning. För utbildning av recovery controller, använde vi γ = 0,993, vilket motsvarar en halveringstid på 4.93 s. En tillräckligt hög rabattfaktor visar mer naturlig stående hållning på grund av det faktum att det straffar stående vridmoment mer än rörelse (tork, leder hastigheter och andra mängder som uppstår på grund av rörelse). För hög rabattfaktor kan dock leda till en långsam konvergens, så den bör justeras på lämpligt sätt beroende på uppgiften. För träning kommando-konditionerad och hög hastighet locomotion, TRPO avslutade utbildning i nio dagar av simulerad tid, vilket motsvarar fyra timmars beräkning i realtid. För träning för återhämtning från fall tog TRPO 79 dagar simulerad tid, vilket motsvarar elva timmars beräkning i realtid. För kommandokonditionerad och höghastighetslocomotion representerar vi ett kommando med tre önskade kroppshastighetsvärden: framåthastighet, lateral hastighet och svänghastighet. Under utbildningen provtas kommandona slumpmässigt från fördefinierade intervall (se tabellerna S1 och S2 för närmare information) och den kostnad som definieras i avsnitt S3 används. Starttillståndet för roboten provtas antingen från en tidigare bana eller en slumpmässig fördelning, som visas i tabell S3, med lika stor sannolikhet. Detta initieringsförfarande genererar data som innehåller komplicerade tillståndsövergångar och stärker den utbildade controllern. Varje bana varar i 6 sekunder om inte roboten når ett terminaltillstånd tidigare. Det finns två möjligheter till uppsägning: att bryta mot gemensamma gränser och slå marken med basen. Vid uppsägning får agenten en kostnad på 1 och återinvigs. Värdet av termineringskostnaden är inte justerat: eftersom endast förhållandet mellan kostnadskoefficienterna är viktigt för slutresultatet, justerar vi andra kostnadsvillkor för att arbeta med detta terminalvärde. För träning återhämtning från ett fall, är kollisionskropparna i ANYmal modellen randomiserade i storlek och position. Prover som resulterar i orealistiska interna kollisioner avlägsnas. Kostnadsfunktionen och den initiala tillståndsfördelningen beskrivs i avsnitt S4 och figur. S3, respektive. Den speciella initieringsmetoden i avsnitt S4 behövs för att träna för denna uppgift eftersom naiv provtagning ofta resulterar i interpenetration och dynamiken blir orealistisk. I detta syfte tappade vi ANYmal från en höjd av 1,0 m med randomiserade orienteringer och ledpositioner, körde simuleringen för 1,2 s, och använde det resulterande tillståndet som initiering. En annan viktig detalj är att gemensamma hastigheter inte kan mätas direkt på den riktiga roboten. Snarare beräknas de genom att numeriskt differentiera positionssignalen, vilket resulterar i bullriga uppskattningar. Vi modellerar denna brist genom att injicera ett starkt additivt buller (U(‐0,5, 0,5) rad/s) till ledhastighetsmätningarna under träningen. På så sätt ser vi till att den inlärda policyn är robust mot felaktiga hastighetsmätningar. Vi lägger också buller under träningen till den observerade linjära hastigheten (U(‐0.08, 0.08 m/s) och vinkelhastigheten (U(‐0.16, 0,16) m/s) i basen. Resten av observationerna är bullerfria. Det är intressant att notera att avlägsnandet av hastigheter från observationen helt och hållet ledde till ett fullständigt misslyckande att träna, även om policynätverket teoretiskt sett kunde sluta sig till hastigheter som ändliga skillnader i observerade positioner. Vi förklarar detta med det faktum att icke-konvexa nätverksutbildningar gör lämplig input förbehandling viktig. Av liknande skäl är input normalisering nödvändig i de flesta inlärningsprocedurer. Vi genomförde policyn med en MLP med två dolda lager, med 256 och 128 enheter vardera och tanh nonlinearity (Fig. 5).................................................................. Vi fann att icke-linjäriteten har en stark effekt på det fysiska systemet. Prestanda av två tränade policys med olika aktiveringsfunktioner kan vara mycket olika i den verkliga världen även när de utför liknande i simulering. Vår förklaring är att obundna aktiveringsfunktioner, såsom ReLU, kan försämra prestandan på den riktiga roboten, eftersom åtgärder kan ha mycket stor omfattning när roboten når stater som inte besöktes under utbildningen. Gränsade aktiveringsfunktioner, som t.ex. tanh, ger mindre aggressiva banor när de utsätts för störningar. Vi anser att detta gäller även för softsign, men det testas inte i politiska nätverk på grund av en genomförandefråga i vår RL-ram [55]. Vi använder ANYmal robot [5], visas i steg fyra av Bild. 1, För att visa den verkliga tillämpligheten av vår metod. ANYmal är en fyrsidig robot i hundstorlek som väger cirka 32 kg. Varje ben är ca 55 cm långt och har tre aktiverade frihetsgrader, nämligen Hip Abduction/Adduction (HAA), Hip Flexion/Extension (HFE) och Knee Flexion/Extension (KFE). ANYmal är utrustad med 12 SEA [60, 61]. En SEA består av en elektrisk motor, en transmission med hög utväxling, ett elastiskt element och två roterande kodare för att mäta fjäderns deformation och utgångsläge. I detta arbete använder vi en gemensam nivå PD controller med låga återkopplingsvinster på den gemensamma nivån ställdon modul av ANYmal robot. Dynamiken hos ställdonen innehåller flera komponenter i följd, enligt följande. För det första omvandlas positionskommandot till önskat vridmoment med hjälp av en PD-regulator. Därefter beräknas den önskade strömmen med hjälp av en PID-regulator från önskat vridmoment. Den önskade strömmen omvandlas sedan till fasspänning med hjälp av en fältorienterad styrenhet (FOC), som producerar vridmomentet vid inmatningen av transmissionen. Utgången av transmissionen är ansluten till ett elastiskt element vars deformation slutligen genererar vridmoment vid leden [39]. Denna mycket komplexa dynamik inför många dolda interna stater som vi inte har direkt tillgång till och komplicerar vårt kontrollproblem. Efter att ha skaffat en parameteruppsättning för en tränad policy från vår hybridsimulering var utbyggnaden på det verkliga systemet okomplicerad. En anpassad MLP-implementation och den utbildade parameteruppsättningen anpassades till robotens inbyggda PC. Detta nätverk utvärderades vid 200 Hz för kommandokonditionerad/höghastighetslocomotion och vid 100 Hz för återhämtning från fall. Vi fann att prestandan var förvånansvärt okänslig för kontrollfrekvensen. Till exempel var återhämtningsrörelsen tränad vid 20 Hz men prestandan var densamma när vi ökade kontrollhastigheten upp till 100 Hz. Detta var möjligt eftersom flip-up beteenden innebär låga gemensamma hastigheter (för det mesta under 6 rad / s). Mer dynamiska beteenden (t.ex., locomotion) kräver ofta en mycket högre kontrollhastighet för att ha en adekvat prestanda. Högre frekvens (100 Hz) användes för experiment eftersom det gjorde mindre ljudljud. Även vid 100 Hz använder utvärderingen av nätverket endast 0,25 % av den beräkning som finns tillgänglig på en enda CPU-kärna. Controllers som presenteras i denna uppsats, tränade i några timmar i simulering, överträffade den bästa befintliga modellbaserade controllern som körs på samma robot, som designades och trimmades under många år. Våra inlärda lokomotionspolicyer gick snabbare och med högre precision samtidigt som vi använde mindre energi, vridmoment och beräkning. Återhämtningsregulatorn uppvisar dynamisk överrullning med flera ospecificerade kontakter med miljön; ett sådant beteende har inte uppnåtts på en riktig robot av jämförbar komplexitet med någon av de befintliga optimeringssystem. Det framlagda tillvägagångssättet är inte i grunden begränsat till kända och enkla miljöer. Vi ser de resultat som presenteras i detta dokument som ett steg mot omfattande locomotion controllers för motståndskraftiga och mångsidiga legged robotar.
Förstärkning lärande har visat mer och mer imponerande resultat under de senaste åren [17, REF, men, än så länge, resultaten är begränsade till antingen platt mark eller till beteenden som är olämpliga för riktiga robot hårdvara på andra terränger.
Learning agile and dynamic motor skills for legged robots
{'venue': 'Science Robotics 4.26 (2019): eaau5872', 'journal': None, 'mag_field_of_study': ['Engineering', 'Computer Science', 'Mathematics']}