Vi presenterar en studie om förstärkning lärande (RL) från mänskliga bandit feedback för sekvens-till-sekvens lärande, exemplifieras av uppgiften att bandit neural maskinöversättning (NMT). Vi undersöker tillförlitligheten hos mänsklig banditfeedback och analyserar tillförlitlighetens inverkan på läsbarheten hos en belöningsskattare och effekten av belöningsskattningarnas kvalitet på den totala RL-uppgiften. Vår analys av kardinal (5-poängs betyg) och ordinal (parvis preferenser) återkoppling visar att deras intra-och inter-annotator α-avtal är jämförbara. Bästa tillförlitlighet erhålls för standardiserad kardinal feedback, och kardinal feedback är också lättast att lära och generalisera från. Slutligen kan förbättringar av över 1 BLEU uppnås genom att integrera en regressionsbaserad belöningsskattning som är utbildad på kardinalfeedback för 800 översättningar till RL för NMT. Detta visar att RL är möjligt även från små mängder av ganska tillförlitlig mänsklig feedback, vilket pekar på en stor potential för tillämpningar i större skala.
REF lär sig en belöning funktion från mänskliga betyg poäng och preferenser över 800 översättningar.
Reliability and Learnability of Human Bandit Feedback for Sequence-to-Sequence Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}