Nuvarande språkmodeller har betydande begränsningar i förmågan att koda och avkoda faktakunskaper. Detta beror främst på att de inhämtar sådan kunskap från statistiska samförekomster, även om de flesta av kunskapsorden sällan observeras. I detta dokument föreslår vi en Neural Knowledge Language Model (NKLM) som kombinerar symbolisk kunskap som tillhandahålls av kunskapsgrafen med RNN-språkmodellen. Genom att förutsäga om ordet att generera har ett underliggande faktum eller inte, kan modellen generera sådana kunskapsrelaterade ord genom att kopiera från beskrivningen av det förutsedda faktumet. I experiment visar vi att NKLM avsevärt förbättrar prestandan samtidigt som vi genererar ett mycket mindre antal okända ord.
På senare tid föreslog REF en neural språkmodell som utnyttjar kunskapsbaser i RNN språkmodeller, vilket möjliggör bättre framställningar av ord för språkmodellering.
A Neural Knowledge Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}