Modellering av mänskligt språk kräver förmågan att inte bara generera flytande text utan också koda faktakunskaper. Men traditionella språkmodeller kan bara komma ihåg fakta som man har sett under träningen, och de har ofta svårt att minnas dem. För att ta itu med detta introducerar vi kunskapsgrafens språkmodell (KGLM), en neural språkmodell med mekanismer för att välja och kopiera fakta från ett kunskapsdiagram som är relevant för sammanhanget. Dessa mekanismer gör det möjligt för modellen att ge information som den aldrig tidigare har sett, samt att generera ut-of-vokabulary polletter. Vi introducerar också den länkade WikiText-2 dataset, 1 en corpus av kommenterad text i linje med Wikidata kunskapsgraf vars innehåll (i stort sett) matchar den populära WikiText-2 riktmärke (Merity et al., 2017). I experiment visar vi att KGLM uppnår betydligt bättre prestanda än en stark grundläggande språkmodell. Vi jämför dessutom olika språkmodellers förmåga att komplettera meningar som kräver faktakunskap, och visar att KGLM överträffar även mycket stora språkmodeller när det gäller att generera fakta.
Slutligen har REF påpekat att neurala språkmodeller är starkt begränsade i sin förmåga att fånga faktakunskaper, som de använder som en motivation för att studera kunskapsdiagram förbättrade språkmodeller.
Barack's Wife Hillary: Using Knowledge-Graphs for Fact-Aware Language Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}