En kritisk brist hos befintliga inversa förstärkning inlärningsmetoder (IRL) är deras oförmåga att avsevärt överträffa demonstrator. Detta beror på att IRL vanligtvis söker en belöning funktion som gör att demonstratorn verkar nästan optimal, snarare än att dra slutsatsen de underliggande intentionerna hos demonstrator som kan ha dåligt utförts i praktiken. I den här artikeln introducerar vi en ny belönings-lärande-från-observation algoritm, Trajectory-rankade belöningsextrapolation (T-REX), som extrapolerar utöver en uppsättning (ungefär) rangordnade demonstrationer för att dra slutsatsen högkvalitativa belöningsfunktioner från en uppsättning potentiellt dåliga demonstrationer. I kombination med djupt förstärkningslärande överträffar T-REX toppmodernt imitationslärande och IRL-metoder på flera Atari- och MuJoCo-riktmärkesuppgifter och uppnår prestanda som ofta är mer än dubbelt så bra som den bästa demonstrationen. Vi visar också att T-REX är robust för att rangordna buller och kan exakt extrapolera intentionen genom att helt enkelt titta på en inlärare bullrigt förbättra vid en uppgift över tid.
Istället för att samla pairwise preferenser via aktiva frågor, Brown et al. REF föreslår Trajectory-ranked Reward Extrapolation (T-REX), en algoritm som använder en uppsättning förrankade demonstrationer för att lära sig en belöningsfunktion.
Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}