Nuvarande språkmodeller har betydande begränsningar i förmågan att koda och avkoda faktakunskaper. Detta beror främst på att de inhämtar sådan kunskap från statistiska samförekomster, även om de flesta av kunskapsorden sällan observeras. I detta dokument föreslår vi en Neural Knowledge Language Model (NKLM) som kombinerar symbolisk kunskap som tillhandahålls av kunskapsgrafen med RNN-språkmodellen. Genom att förutsäga om ordet att generera har ett underliggande faktum eller inte, kan modellen generera sådana kunskapsrelaterade ord genom att kopiera från beskrivningen av det förutsedda faktumet. I experiment visar vi att NKLM avsevärt förbättrar prestandan samtidigt som vi genererar ett mycket mindre antal okända ord.
Vårt arbete hämtar inspiration från REF, som föreslår att förutsäga om ordet att generera har ett underliggande faktum eller inte.
A Neural Knowledge Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}