Imitering lärande ger en tilltalande ram för autonom kontroll: i många uppgifter, demonstrationer av föredraget beteende kan lätt erhållas från mänskliga experter, ta bort behovet av dyra och potentiellt farliga online datainsamling i den verkliga världen. Men policyer som man lär sig med imitationslärande har begränsad flexibilitet för att tillgodose olika mål vid provtillfället. Modellbaserat förstärkande lärande (MBRL) ger betydligt mer flexibilitet, eftersom en prediktiv modell som lärts från data kan användas för att uppnå olika mål vid testtillfället. MBRL lider dock av två brister. För det första hjälper inte den prediktiva modellen till att välja önskade eller säkra resultat - det beror bara på vad som är möjligt, inte vad som är att föredra. För det andra kräver MBRL vanligtvis ytterligare datainsamling online för att säkerställa att modellen är korrekt i de situationer som faktiskt uppstår när man försöker uppnå testtidsmålen. Att samla in dessa data med en delvis utbildad modell kan vara farligt och tidskrävande. I detta dokument strävar vi efter att kombinera fördelarna med imitationslärande och MBRL, och föreslår imitativa modeller: probabilistiska prediktiva modeller som kan planera expertliknande banor för att uppnå godtyckliga mål. Vi finner denna metod avsevärt överträffar både direkt imitation och MBRL i en simulerad autonom köruppgift, och kan läras effektivt från en fast uppsättning av expertdemonstrationer utan ytterligare online datainsamling. Vi visar också vår modell kan flexibelt införliva användarrelaterade kostnader som testtid, kan planera för sekvenser av mål, och kan även prestera bra med otydliga mål, inklusive mål på fel sida av vägen.
Rheinhart m.fl. Ref kombinerade imitationslärande och modellbaserade förstärkningslärande för att utveckla probabilistiska modeller som kan förutsäga expertliknande fordonsbanor, i detta fall beroende på LiDAR-data, även med hjälp av CARLA för att utarbeta sitt förslag, men utan att inkludera andra fordon och fotgängare.
Deep Imitative Models for Flexible Inference, Planning, and Control
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}