Abstrakt. Detta dokument fokuserar på att stärka lärandet (RL) med begränsade förkunskaper. Inom området svärmrobotik till exempel, kan experten knappast utforma en belöning funktion eller visa målet beteende, förbjuda användningen av både standard RL och omvänd förstärkning lärande. Även om expertisen är begränsad kan den mänskliga experten fortfarande ofta ge ut preferenser och rangordna agentdemonstrationerna. Tidigare arbete har presenterat en iterativ preferensbaserad RL-ram: expertpreferenser utnyttjas för att lära sig en ungefärlig politisk avkastning, vilket gör det möjligt för agenten att uppnå direkt politisk sökning. Iterativt väljer agenten en ny kandidatpolicy och demonstrerar den; experten rankar den nya demonstrationen i jämförelse med den tidigare bästa; expertens rankningsfeedback gör det möjligt för agenten att förfina den ungefärliga politiska avkastningen, och processen itereras. I detta dokument kombineras preferensbaserat förstärkande lärande med aktiv rankning för att minska antalet rankningsförfrågningar till den expert som behövs för att åstadkomma en tillfredsställande politik. Experiment på mountain car och cancer behandling testbäddar vittnar om att ett par dussin ranking gör det möjligt att lära sig en kompetent politik.
I en uppföljning arbete REF, författarna utvidga denna strategi med idén om aktivt lärande för att minska antalet preferensfrågor som begärts till experten.
APRIL: Active Preference Learning-Based Reinforcement Learning
{'venue': 'Lecture Notes in Computer Science', 'journal': 'Lecture Notes in Computer Science', 'mag_field_of_study': ['Mathematics', 'Computer Science']}