Forskningen om stilöverföring för text är för närvarande påfrestad av brist på standardutvärderingsmetoder. Detta dokument syftar till att lindra denna fråga genom att experimentellt identifiera bästa praxis med en Yelp-känslor dataset. Vi specificerar tre aspekter av intresse (stil överföringsintensitet, innehållsbevarande och naturlighet) och visar hur man får mer tillförlitliga mått på dem från mänsklig utvärdering än i tidigare arbete. Vi föreslår en uppsättning mått för automatiserad utvärdering och visar att de är mer starkt korrelerade och i överensstämmelse med mänskligt omdöme: riktningskorrigerade Earth Mover's Distance, Word Mover's Distance on style-masked texts, och kontraarial klassificering för respektive aspekter. Vi visar också att de tre undersökta modellerna uppvisar kompromisser mellan olika aspekter av intresse, vilket visar hur viktigt det är att utvärdera modeller för stilöverföring vid specifika punkter i deras tradeoff tomter. Vi släpper programvara med våra utvärderingsmått för att underlätta forskning.
I samtida arbete, REF föreslog på liknande sätt tre typer av mått för stil överföring uppgifter.
Evaluating Style Transfer for Text
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}