Många program för behandling av naturligt språk använder språkmodeller för att generera text. Dessa modeller är vanligtvis tränade för att förutsäga nästa ord i en sekvens, med tanke på de tidigare orden och vissa sammanhang såsom en bild. Vid testtillfället förväntas dock modellen generera hela sekvensen från början. Denna avvikelse gör generation spröd, eftersom fel kan ackumuleras längs vägen. Vi tar itu med denna fråga genom att föreslå en ny sekvensnivåträningsalgoritm som direkt optimerar det metriska som används vid testtidpunkten, t.ex. BLEU eller ROUGE. På tre olika uppgifter överträffar vår strategi flera starka baslinjer för girig generation. Metoden är också konkurrenskraftig när dessa baslinjer använder strålsökning, samtidigt som den är flera gånger snabbare.
Ranzato m.fl. REF föreslog en sekvens-nivå utbildningsalgoritm för bildtext som direkt optimerar det metriska som används vid testtid med policy gradientmetoder.
Sequence Level Training with Recurrent Neural Networks
{'venue': 'ICLR 2016', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}