För utvärdering av maskingenererade texter, automatiska metoder håller löftet att undvika insamling av mänskliga bedömningar, som kan vara dyrt och tidskrävande. De vanligaste automatiska måtten, som BLEU och ROUGE, beror på exakt ordmatchning, en oflexibel metod för att mäta semantisk likhet. Vi introducerar metoder baserade på meningsflytarens likhet; våra automatiska mått utvärderar text i ett kontinuerligt utrymme med ord och mening inbäddade. Vi finner att meningsbaserade mått korrelerar med mänskliga bedömningar betydligt bättre än ROUGE, både på maskingenererade sammanfattningar (genomsnittlig längd på 3,4 meningar) och människoauktoriserade essäer (genomsnittlig längd på 7,5). Vi visar också att meningsflyttarens likhet kan användas som en belöning när vi lär oss en generationsmodell genom att förstärka lärandet; vi presenterar både automatiska och mänskliga utvärderingar av sammanfattningar som vi lärt oss på detta sätt, och finner att vårt tillvägagångssätt överträffar ROUGE.
Slutligen, mening flyttarens likhet har föreslagits för att automatiskt utvärdera maskingenererade texter outperforming ROUGE REF.
Sentence Mover’s Similarity: Automatic Evaluation for Multi-Sentence Texts
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}