Abstrakt. Många maskininlärningsmetoder inom robotik, baserade på förstärkningsinlärning, omvänd optimal kontroll eller direkt politisk inlärning, förlitar sig kritiskt på robotsimulatorer. I detta dokument undersöks en simulatorfri direktpolicyinlärning, kallad Preferensbaserad policyinlärning (PPL). PPL itererar en process i fyra steg: roboten visar en kandidat policy; experten rankar denna politik jämförelsevis med andra enligt hennes preferenser; dessa preferenser används för att lära sig en politik avkastning uppskattning; roboten använder politiken avkastning uppskattning för att bygga nya kandidatpolicyer, och processen itereras tills önskat beteende erhålls. PPL kräver en god representation av det politiska sökområdet, vilket gör det möjligt att lära sig korrekta uppskattningar av politikens avkastning och begränsa den mänskliga rankning som krävs för att åstadkomma en bra politik. Dessutom kan denna representation inte använda informerade funktioner (t.ex., hur långt roboten är från något mål) på grund av simulatorfri inställning. Som ett andra bidrag föreslås i detta dokument en representation baserad på agnostiskt utnyttjande av robotloggen. Konvergensen av PPL studeras analytiskt och dess experimentella validering på två problem, med en enda robot i en labyrint och två interagerande robotar, presenteras.
På sätt och vis kan Ref-metoden ses som en preferensbaserad variant av policysökning.
Preference-based Policy Learning
{'venue': 'ECML/PKDD', 'journal': None, 'mag_field_of_study': ['Computer Science']}