Återkommande neurala nätverk har varit mycket framgångsrik på att förutsäga sekvenser av ord i uppgifter som språkmodellering. Alla sådana modeller är dock baserade på den konventionella klassificeringsramen, där modellen tränas mot enhot-mål, och varje ord representeras både som input och som en output isolerat. Detta leder till ineffektivitet i inlärningen både när det gäller att utnyttja all information och i fråga om antalet parametrar som behövs för att utbilda. Vi introducerar en ny teoretisk ram som underlättar bättre inlärning i språkmodellering, och visar att vårt ramverk leder till att sammanbinda input inbäddning och output projicering matriser, kraftigt minska antalet utbildningsbara variabler. Vårt ramverk leder till toppmodern prestanda på Penn Treebank med en mängd olika nätverksmodeller.
REF visade att återanvändning av indataordet inbäddade i dekodern kan minska språkmodellernas komplexitet.
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}