Binary klassificerare används ofta som discriminatorer i GAN-baserade oövervakade stil överföringssystem för att säkerställa att överförda meningar liknar meningar i måldomänen. En svårighet med detta tillvägagångssätt är att felsignalen från discriminatorn kan vara instabil och ibland otillräcklig för att träna generatorn för att producera flytande språk. I detta dokument föreslår vi en ny teknik som använder en måldomänspråksmodell som diskriminator, vilket ger rikare och stabilare återkoppling på token-nivå under inlärningsprocessen. Vi tränar generatorn för att minimera den negativa logsannolikheten (NLL) för genererade meningar, utvärderad av språkmodellen. Genom att använda en kontinuerlig approximation av diskret provtagning under generatorn kan vår modell tränas med back-propagation på ett end-to-end-sätt. Dessutom visar våra empiriska resultat att när man använder en språkmodell som en strukturerad discriminator är det möjligt att avstå från kontradiktoriska steg under utbildningen, vilket gör processen mer stabil. Vi jämför vår modell med tidigare arbete som använder konvolutionella nätverk (CNN) som discriminatorer, samt en bred uppsättning andra metoder. Resultaten visar att den föreslagna metoden uppnår bättre prestanda på tre uppgifter: ordsubstitution dechiffrering, känslomodifiering, och relaterade språköversättning.
Med hjälp av en måldomän språkmodell som en discriminator har också använts REF, ger rikare och mer stabil token-nivå återkoppling under inlärningsprocessen.
Unsupervised Text Style Transfer using Language Models as Discriminators
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}