Hur detaljerade bör vi göra de mål vi förskriver till AI-agenter som agerar för vår räkning i komplexa miljöer? Detaljerad & låg nivå specifikation av mål kan vara tråkig och dyr att skapa, och abstrakt & hög nivå mål kan leda till negativa överraskningar som agenten kan hitta beteenden som vi inte vill att det ska göra, dvs. leda till osäkra AI. Ett sätt att ta itu med detta dilemma är att agenten drar slutsatser om mänskliga mål genom att iaktta mänskligt beteende. Detta är problemet Inverse Förstärkning Learning (IRL). Men IRL är i allmänhet illa placerade för det finns typiskt många belöningsfunktioner för vilka det observerade beteendet är optimalt. Medan användningen av heuristik för att välja bland de möjliga belöning funktioner har lett till framgångsrika tillämpningar av IRL att lära sig från demonstration, sådan heuristik inte behandlar AI säkerhet. I detta dokument introducerar vi ett nytt upprepat IRL-problem som fångar en aspekt av AI-säkerhet enligt följande. Agenten måste agera på uppdrag av en människa i en sekvens av uppgifter och vill minimera antalet uppgifter som den överraskar människan. Varje gång människan blir förvånad får agenten en demonstration av det önskade beteendet hos människan. Vi formaliserar detta problem, inklusive hur sekvensen av uppgifter väljs, på några olika sätt och ger några grundläggande resultat. + I detta dokument utvidgas följande arXiv-dokument av författarna: https://arxiv.org/abs/1601.06569.
Vid upprepade IRL REF agerar agenten på uppdrag av en mänsklig expert i en mängd olika uppgifter, och den mänskliga experten korrigerar agenten när agentens policy är långt ifrån optimal.
Repeated Inverse Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}