Numeracy är förmågan att förstå och arbeta med siffror. Det är en nödvändig färdighet för att komponera och förstå dokument inom kliniska, vetenskapliga och andra tekniska områden. I denna uppsats utforskar vi olika strategier för att modellera siffror med språkmodeller, såsom memorering och digital-för-digital sammansättning, och föreslår en ny neural arkitektur som använder en kontinuerlig sannolikhet densitet funktion för att modellera siffror från ett öppet ordförråd. Vår utvärdering av kliniska och vetenskapliga dataset visar att med hjälp av hierarkiska modeller för att skilja siffror från ord förbättrar en perplexitet metriska på undergruppen av siffror med 2 respektive 4 storleksordningar, respektive över icke-hierarkiska modeller. En kombination av strategier kan ytterligare förbättra förvirringen. Vår kontinuerliga sannolikhet densitet funktionsmodell minskar genomsnittliga absoluta procentuella fel med 18% och 54% i jämförelse med den näst bästa strategin för varje datauppsättning, respektive.
REF studerade olika strategier för att bättre modellera siffror i språkmodeller.
Numeracy for Language Models: Evaluating and Improving their Ability to Predict Numbers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}