Förstärkt lärande (RL) används ofta för att öka prestandan i textgenereringsuppgifter, inklusive maskinöversättning (MT), särskilt genom användning av minimirisk utbildning (MRT) och Generative Adversarial Networks (GAN). Man vet dock inte mycket om vad och hur dessa metoder lär sig i samband med MT. Vi bevisar att en av de vanligaste RL-metoderna för MT inte optimerar den förväntade belöningen, samt visar att andra metoder tar en ogenomförbart lång tid att konvergera. Faktum är att våra resultat tyder på att RL praxis i MT sannolikt kommer att förbättra prestanda endast om de förträngda parametrarna redan är nära att ge rätt översättning. Våra resultat tyder vidare på att observerade vinster kan bero på effekter som inte har något samband med träningssignalen, utan snarare på förändringar i fördelningskurvans form.
REF fann att neurala maskinöversättningsmodeller utbildade med gemensamma RL-metoder förbättrar översättningens kvalitet endast när de korrekta översättningarna redan är i toppen av distributionen av en förtränad modell som används för initiering.
On the Weaknesses of Reinforcement Learning for Neural Machine Translation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}