Det växande perspektivet på djupt förstärkande inlärning (DRL) som används i it-fysiska system har väckt oro kring säkerheten och robustheten hos autonoma agenter. Den senaste tidens arbete med att generera kontradiktoriska attacker har visat att det är möjligt att beräkna om en dålig aktör kan lura en DRL-politik att bete sig på ett optimalt sätt. Även om vissa kontradiktoriska attacker med specifika attackmodeller har åtgärdats, är de flesta studier endast intresserade av off-line optimering i datarymden (t.ex. ex. montering, destillation). Detta dokument introducerar en Meta-Learning Advantage Hierarchy (MLAH) ram som är attack modell-agnostic och mer lämpad för att förstärka lärande, genom att hantera attackerna i beslutsutrymmet (i motsats till datautrymme) och direkt mildra inlärda fördomar som införs av motståndaren. I MLAH lär vi oss separata underpolitiker (nominella och kontradiktoriska) på nätet, som vägleds av en övervakande mästeragent som upptäcker motståndarens närvaro genom att utnyttja fördelfunktionen för underpolitiken. Vi visar att den föreslagna algoritmen möjliggör politiskt lärande med betydligt lägre förutfattade meningar jämfört med de senaste politiska inlärningsstrategierna även i närvaro av tunga statliga informationsattacker. Vi presenterar algoritmanalyser och simuleringsresultat med hjälp av populära OpenAI Gym-miljöer.
REF föreslog ett meta online-inlärningsförfarande med en huvudagent som upptäckte motståndarens närvaro och bytte mellan ett fåtal underpolitiker, men fokuserade inte på hur en enda agent skulle tränas på ett robust sätt.
Online Robust Policy Learning in the Presence of Unknown Adversaries
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}