Vi studerar den översta viktmatrisen av neurala nätverksspråkmodeller. Vi visar att denna matris utgör ett giltigt ord inbäddning. När du tränar språkmodeller, rekommenderar vi att koppla in inmatning inbäddning och denna utgång inbäddning. Vi analyserar de resulterande uppdateringsreglerna och visar att den bundna inbäddningen utvecklas på ett mer likartat sätt än inbäddningen i den obundna modellen. Vi erbjuder också en ny metod för att reglera produktionen inbäddning. Våra metoder leder till en betydande minskning av perplexitet, som vi kan visa på en mängd olika neurala nätverk språkmodeller. Slutligen visar vi att viktbindning kan minska storleken på neurala översättningsmodeller till mindre än hälften av deras ursprungliga storlek utan att skada deras prestanda.
Att binda input och output inbäddningar av språkmodeller REF liknar vår strategi.
Using the Output Embedding to Improve Language Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}