För att sofistikerade förstärkande inlärningssystem (RL) ska kunna interagera på ett användbart sätt med verkliga miljöer måste vi kommunicera komplexa mål med dessa system. I detta arbete utforskar vi mål som definieras i termer av (icke-expert) mänskliga preferenser mellan par av bana segment. Vi visar att detta tillvägagångssätt effektivt kan lösa komplexa RL-uppgifter utan tillgång till belöningsfunktionen, inklusive Atari-spel och simulerad robotlocomotion, samtidigt som vi ger feedback på mindre än 1% av vår agents interaktioner med miljön. Detta minskar kostnaden för mänsklig tillsyn tillräckligt långt att den praktiskt kan tillämpas på toppmoderna RL-system. För att visa flexibiliteten i vårt tillvägagångssätt visar vi att vi framgångsrikt kan träna komplexa nya beteenden med omkring en timmes mänsklig tid. Dessa beteenden och miljöer är betydligt mer komplexa än någon som tidigare har lärts av mänsklig feedback.
REF föreslår att man lär sig belöningsfunktionen genom feedback från människor.
Deep reinforcement learning from human preferences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}