Sekventiella förutsägelser problem som imitation inlärning, där framtida observationer beror på tidigare förutsägelser (åtgärder), bryter mot den gemensamma i.i.d. Antaganden som gjorts inom ramen för det statistiska lärandet. Detta leder till dåliga resultat i teorin och ofta i praktiken. Vissa nya metoder (Daumé III m.fl., 2009; Ross och Bagnell, 2010) ger starkare garantier i detta sammanhang, men är fortfarande något otillfredsställande eftersom de tränar antingen icke-stationär eller stokastisk politik och kräver ett stort antal iterationer. I detta dokument föreslår vi en ny iterativ algoritm, som tränar en stationär deterministisk politik, som kan ses som en ingen ångra algoritm i en online inlärningsmiljö. Vi visar att ingen sådan ångeralgoritm, i kombination med ytterligare reduktionsantaganden, måste hitta en policy med goda resultat under fördelningen av observationer som den framkallar i sådana sekventiella inställningar. Vi visar att detta nya tillvägagångssätt överträffar tidigare tillvägagångssätt på två utmanande imitation inlärningsproblem och en benchmarking sekvens märkning problem.
Annorlunda, Ross et al. REF föreslår en metaalgoritm för imitationslärande (DAgger), som lär sig en stationär deterministisk politik som garanteras att prestera väl under dess inducerade fördelning av stater.
A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning
{'venue': 'AISTATS 2011', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}