Vi visar på en ny forskningssyn på problemet med att förutsäga lässvårigheterna i ett textavsnitt genom att omarbeta läsbarheten i form av statistisk språkmodellering. Vi härleder en åtgärd baserad på en utvidgning av multinomial naiv Bayes klassificering som kombinerar flera språk modeller för att uppskatta den mest sannolika graden för en viss passage. Den resulterande klassificeringen är inte specifik för ett visst ämne och kan tränas med relativt lite märkta data. Vi utför förutsägelser för enskilda webbsidor på engelska och jämför vår prestanda med allmänt använda semantiska variabler från traditionella läsbarhetsåtgärder. Vi visar att med minimala förändringar, klassificeringen kan omskolas för användning med franska webbdokument. För både engelska och franska bibehåller klassifieraren genomgående god korrelation med betygsnivån (0,63 till 0,79) i alla testuppsättningar. Några traditionella semantiska variabler som typ-token förhållandet gav bäst prestanda på kommersiella kalibrerade test passager, medan vår språkmodellering metod gav bättre noggrannhet för webbdokument och mycket korta passager (mindre än 10 ord).
Collins- REF använde den utjämnade engram språkmodellen för att mäta den lexikala svårigheten i ett visst dokument.
A Language Modeling Approach To Predicting Reading Difficulty
{'venue': 'Human Language Technology Conference And Meeting Of The North American Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}