Ett mål för Interactive Machine Learning (IML) är att göra det möjligt för människor utan specialiserad utbildning att lära agenter hur man utför uppgifter. Många av de befintliga maskininlärningsalgoritmer som lär sig av mänskliga instruktioner utvärderas med hjälp av simulerad feedback och fokus på hur snabbt agenten lär sig. Även om detta är värdefull information, ignorerar det viktiga aspekter av samspelet mellan människor och agenter såsom frustration. I detta dokument presenterar vi Newtonian Action Advice agent, en ny metod för att införliva mänskliga verbala åtgärder råd med förstärkning Learning (RL) på ett sätt som förbättrar den mänskliga-agent interaktionen. Förutom simuleringar validerade vi algoritmen Newtonian Action Advice genom att utföra ett experiment mellan människor. Resultaten visar att Newtonian Action Advice kan prestera bättre än Policy Shaping, en toppmodern IML algoritm, både när det gäller RL-mått som kumulativ belöning och mänskliga faktorer mått som frustration. Ett mål med interaktiv maskininlärning är att göra det möjligt för människor som inte är ML experter att naturligt och intuitivt lära agenter hur man utför uppgifter. Detta dokument introducerar en algoritm, Newtonian Action Advice, som innehåller en människas verbala handling råd med Förstärkning Lärande (RL). Algoritmen utnyttjar en enkel fysikmodell för att ge en agent som agerar på ett sätt som människor förväntar sig och finner icke-frustrerande. Vi validerar vår algoritm genom att först konstruera orakel för att simulera mänsklig feedback för att jämföra Newtonian Action Advice (NAA) med Policy Shaping och Bayesian Q-learning. Utöver simuleringarna genomförde vi ett experiment där deltagarna tränade både NAA- och Policy Shaping-agenter och sedan rapporterade om erfarenheterna av att arbeta med båda agenterna. Vi föreslår att validering av interaktionsalgoritmer med orakel och analys av traditionella RL-mått såsom kumulativ belöning och träningstid bara är det första steget. Utöver RL-mått bör interaktionsalgoritmer valideras genom att mäta människors erfarenheter med medel som använder mänskliga faktorer, t.ex. frustration. I idealfallet bör interaktionsalgoritmerna utformas med målet att skapa en positiv mänsklig upplevelse, eftersom individer som upplever frustration samtidigt som de interagerar med ett medel sannolikt inte kommer att fortsätta eller upprepa interaktionen i framtiden. Resultaten visar att Newtonian Action Advice kan prestera bättre än Policy Shaping, både när det gäller RL-mått som kumulativ belöning och mänskliga faktorer mått som frustration. NAA kan lära sig snabbare genom att använda mindre mänsklig undervisning än Policy Shaping. NAA skapar en bättre mänsklig upplevelse än Policy Shaping. Jämfört med Policy Shaping fann deltagarna att Newtonian Action Advice-agenten var mindre frustrerande, tydligare och mer omedelbar när det gäller hur agenten använde mänsklig input, bättre i stånd att slutföra uppgiften som deltagaren avsåg, och mer intelligent.
Eftersom studier visar att icke-experter mänskliga lärare föredrar att ge handlingsråd framför kritik REF fokuserar vi på Learning from Action.
Newtonian Action Advice: Integrating Human Verbal Instruction with Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}