Förstärkningslärande (RL) baserade dokumentsammanfattningssystem ger toppmoderna resultat när det gäller ROUGE-poäng, eftersom de direkt använder ROUGE som belöningar under utbildningen. Sammanfattningar med höga ROUGE-poäng får dock ofta lågt mänskligt omdöme. För att hitta en bättre belöningsfunktion som kan vägleda RL att generera human-appealing sammanfattningar, lär vi oss en belöning funktion från mänskliga betyg på 2.500 sammanfattningar. Vår belöningsfunktion tar bara dokumentet och systemsammanfattningen som indata. När den väl har utbildats kan den därför användas för att utbilda RL-baserade sammanfattande system utan att använda några referenssammanfattningar. Vi visar att våra lärda belöningar har betydligt högre korrelation med mänskliga betyg än tidigare metoder. Humana utvärderingsexperiment visar att RL-systemen, jämfört med de toppmoderna systemen för övervakad inlärning och ROUGE-belönade RL-sammanfattningssystem, med hjälp av våra lärda belöningar under utbildningen genererar sammanfattningar med högre människobetyg. Den inlärda belöningsfunktionen och vår källkod finns på https://github.com/yg211/ summering-reward-no-reference.
REF lär sig en belöning funktion från 2500 mänskliga betyg poäng på 500 sammanfattningar i CNN/DailyMail dataset, och de visar att deras belöningar har högre korrelation till mänskliga bedömningar än befintliga mätvärden inklusive ROUGE.
Better Rewards Yield Better Summaries: Learning to Summarise Without References
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}