Neurala språkmodeller är en kritisk komponent i toppmoderna system för maskinöversättning, sammanfattning, ljud transkription och andra uppgifter. Dessa språkmodeller är nästan universellt autoregressiva i naturen, vilket skapar meningar en symbol i taget från vänster till höger. I detta dokument studeras påverkan av symbolisk genereringsordning på modellens kvalitet via en ny två-pass språkmodell som producerar delvis fyllda meningar "mallar" och sedan fyller i saknade polletter. Vi jämför olika strategier för att strukturera dessa två pass och observera en förvånansvärt stor variation i modellkvalitet. Vi finner att den mest effektiva strategin genererar funktionsord i det första passet följt av innehållsord i det andra. Vi anser att dessa experimentella resultat motiverar en mer omfattande undersökning av generationsordning för neurala språkmodeller.
REF föreslog en tvåstegsmodell, där det första steget är en språkmodell som genererar mallar, och det andra steget är en översättningsmodell som fyller i luckorna.
The Importance of Generation Order in Language Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}