Vi föreslår flera sätt att återanvända underord inbäddningar och andra vikter i subwordaware neural språk modeller. De föreslagna teknikerna gynnar inte en konkurrenskraftig karaktärsmedveten modell, men vissa av dem förbättrar prestandan hos modeller med stavelse- och morpheme-aware samtidigt som de uppvisar betydande minskningar av modellstorlekarna. Vi upptäcker en enkel hands-on princip: i en flerskikts inbäddning modell, bör lager bindas på varandra följande bottom-up om återanvändas vid utmatning. Vår bästa morpheme-medvetna modell med korrekt återanvända vikter slår den konkurrenskraftiga Word-nivå modellen med stor marginal över flera språk och har 20%-87% färre parametrar.
Till exempel föreslog Ref flera sätt att återanvända vikter i karaktärsmedvetna NLM.
Reusing Weights in Subword-aware Neural Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}