Vi introducerar två taktiker, nämligen den strategiskt timade attacken och den förtrollande attacken, för att attackera förstärkande inlärningsagenter tränade av djupt förstärkande inlärningsalgoritmer med hjälp av kontradiktoriska exempel. I den strategiskt tidsinställda attacken, syftar motståndaren till att minimera agentens belöning genom att bara attackera agenten i en liten del av tid steg i en episod. Att begränsa attackaktiviteten till denna delmängd hjälper till att förhindra att agenten upptäcker attacken. Vi föreslår en ny metod för att avgöra när ett kontradiktoriskt exempel ska utformas och tillämpas. I den förtrollande attacken, syftar motståndaren till att lura agenten till en utsedd målstat. Detta uppnås genom att kombinera en generativ modell och en planeringsalgoritm: medan den generativa modellen förutsäger framtida tillstånd, genererar planeringsalgoritmen en föredragen sekvens av åtgärder för att lura agenten. En sekvens av kontradiktoriska exempel skapas sedan för att locka agenten att ta den föredragna sekvensen av åtgärder. Vi tillämpar den föreslagna taktiken på de agenter som utbildas av den toppmoderna djupt förstärkande inlärningsalgoritmen inklusive DQN och A3C. I 5 Atari spel, vår strategiskt tidsinställda attack minskar lika mycket belöning som den enhetliga attacken (dvs. att attackera varje gång steg) gör genom att attackera agenten 4 gånger mindre ofta. Vår förtrollande attack lockar agenten mot utsedda målstater med mer än 70% framgång. Exempel på videor finns på http: //yklin.me/ adversarial_attack_ RL/.
Lin m.fl. i REF vidareutvecklade ytterligare en förtrollande attack som syftade till att illvilligt lura en agent till en viss stat.
Tactics of Adversarial Attack on Deep Reinforcement Learning Agents
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}