I djup förstärkning inlärning (RL), kan motgångar attacker lura en agent i oönskade tillstånd och störa utbildning. Vi föreslår ett system som heter Robust Student-DQN (RS-DQN), som möjliggör online robusthet utbildning tillsammans med Q-nätverk, samtidigt som konkurrenskraften bevaras. Vi visar att RS-DQN kan kombineras med (i) toppmodern adversarial utbildning och (ii) bevisligen robust utbildning för att få en agent som är motståndskraftig mot starka attacker under träning och utvärdering. För att säkerställa att förstärka lärande (RL) agenter beter sig tillförlitligt i det vilda, är det viktigt att överväga inställningar där en motståndare syftar till att störa beslut av agenten. De senaste framstegen inom RL har fokuserat på hantering av kontinuerliga tillstånd via neurala nätverk [1] [2] [3]. Dock kan små perturbationer till inmatningen av neurala nätverk ge mycket olika utgångar [4]. Dessa störningar är också tillämpliga på neurala nätverk som används i RL, vilket leder till möjliga säkerhetsrisker [5]. Befintligt arbete inom området robust RL har fokuserat på små, fysiskt rimliga störningar, diskreta tillstånd [6, 7], eller inställningar med få ingångar [8] [9] [10] [11] [12]. Dessa metoder skalas dock inte till att hantera gradient-baserade attacker på stora bilder som studeras i övervakad klassificering [4, 13, 14]. I detta arbete presenterar vi en ny metod för att träna RL-system för att vara mer robusta mot motgångar. Nyckelidén, som visas i bild. 1, är att dela standard DQN-arkitekturen i ett policy (student) nätverk S och ett Q-nätverk på ett sätt som gör det möjligt för oss att på ett robust sätt utbilda policynätverket S och använda det för prospektering, samtidigt som standard sättet att utbilda Q-nätverket. Vi visar sedan hur man naturligt införlivar toppmoderna försvar som utvecklats i övervakad djupinlärning till inställningen av förstärkande lärande, genom att utbilda studentnätverket på två sätt: (i) via kontradiktorisk utbildning med metoder som PGD [14] där vi genererar kontradiktoriska stater som minskar chansen att den optimala åtgärden väljs ut och använder dem för att utbilda det politiska nätverket, och (ii) via bevisligen robust utbildning med symboliska metoder [15, 16] som garanterar nätverket kommer att välja rätt åtgärd i ett givet tillstånd trots eventuella perturbation (inom ett intervall) av den staten. • En ny djup RL-algoritm, RS-DQN, utformad för att försvaras med toppmodern adversariell träning samt bevisligen robust träning. • Vi visar att när ingen attack är närvarande, RS-DQN och DQN få liknande poäng, medan i närvaro av attacker, oförsvarade DQNs misslyckas medan RS-DQN förblir robust. • En utvärdering som visar att RS-DQN kan producera ett medel som är säkert robust till ±1 pixel intensitetsförändringar på Atari spel med poäng jämförbara med DQN. ...............................................................................................................................................................................................................................................................
Vi kommer att jämföra med det senaste REF i våra experiment.
Online Robustness Training for Deep Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}