Textdokument är strukturerade på flera nivåer av detaljer: enskilda ord är relaterade till syntax, och större enheter av text är relaterade till diskurs struktur. Befintliga språkmodeller misslyckas i allmänhet med att redogöra för diskursens struktur, men det är avgörande om vi ska ha språkmodeller som belönar samstämmighet och genererar sammanhängande texter. Vi presenterar och empiriskt utvärderar en uppsättning recidiverande neurala nätverksspråkmodeller på flera nivåer, så kallade Document-Context Language Models (DCLMs), som innehåller kontextuell information både inom och utanför meningen. I jämförelse med recidiverande neurala nätverk språk modeller, DCLMs få något bättre prediktiva sannolikheter, och betydligt bättre bedömningar av dokument samstämmighet.
Andra relaterade arbeten inkluderar dokument Sammanhang Språk modeller REF, där författarna har flera nivåer återkommande neurala nätverk språkmodeller som införlivar sammanhang från inom en mening och från tidigare meningar.
Document Context Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}