I detta dokument undersöks användningen av språklig information för val av data för att utbilda språkmodeller. Vi avviker från den senaste metoden i perplexitetsbaserat dataval och utökar det för att kunna använda språkenheter på ordnivå (dvs. lemmas, namngivna enhetskategorier och del-av-tal taggar) i stället för ytformer. Därefter presenterar vi två metoder som kombinerar de olika typerna av språkkunskap samt ytformerna (1, naivt urval av de högsta rangordnade meningarna valda av varje metod; 2, linjär interpolering av de datauppsättningar som valts ut av de olika metoderna). I dokumentet presenteras detaljerade resultat och analyser för fyra språk med olika nivåer av morfologisk komplexitet (engelska, spanska, tjeckiska och kinesiska). Den interpoleringsbaserade kombinationen överträffar det rent statistiska utgångsläget i alla scenarier, vilket resulterar i språkmodeller med lägre perplexitet. I relativa termer är förbättringarna likartade oavsett språk, med perplexitetsminskningar i intervallet 7,72-13,02%. I absoluta tal är minskningen högre för språk med hög typ-token förhållande (kinesiska, 202.16) eller rik morfologi (tjeckiska, 81.53) och lägre för de återstående språken, spanska (55.2) och engelska (34.43 på den engelska sidan av samma parallella datauppsättning som för tjeckiska och 61.90 på samma parallella datauppsättning som för spanska).
REF införde språklig information som lemmas, namngivna enheter och del-i-tal-taggar i förbehandlingen av uppgifterna och rangordnade sedan meningarna efter förvirring.
Linguistically-augmented perplexity-based data selection for language models
{'venue': 'Comput. Speech Lang.', 'journal': 'Comput. Speech Lang.', 'mag_field_of_study': ['Computer Science']}