Återkommande neurala nätverk (RNN) har uppnått state-of-the-art prestanda i många naturliga språk bearbetning uppgifter, såsom språkmodellering och maskinöversättning. Men när vokabuläret är stort kommer RNN-modellen att bli mycket stor (t.ex. möjligen bortom en GPU-enhets minneskapacitet) och dess träning kommer att bli mycket ineffektiv. I detta arbete föreslår vi en ny teknik för att ta itu med denna utmaning. Nyckelidén är att använda 2-Komponent (2C) delade inbäddning för ord representationer. Vi allokerar varje ord i ordförrådet till en tabell, där varje rad är associerad med en vektor, och varje kolumn associeras med en annan vektor. Beroende på dess position i tabellen representeras ett ord gemensamt av två komponenter: en radvektor och en kolumnvektor. Eftersom orden i samma rad delar radvektorn och orden i samma kolumn delar kolumnvektorn, behöver vi bara 2 V vektorer för att representera en vokabulär av "V" unika ord, som är mycket mindre än de vektorer som krävs av befintliga inflygningar. Baserat på 2-Komponent delade inbäddning, vi designa en ny RNN algoritm och utvärdera den med hjälp av språkmodellering uppgift på flera riktmärken dataset. Resultaten visar att vår algoritm avsevärt minskar modellstorleken och påskyndar utbildningsprocessen, utan att offra noggrannhet (den uppnår liknande, om inte bättre, perplexitet jämfört med toppmoderna språkmodeller). Anmärkningsvärt nog, på One-Billion-Word-riktmärket Dataset, uppnår vår algoritm jämförbar perplexitet med tidigare språkmodeller, samtidigt som den minskar modellstorleken med en faktor på 40-100, och påskyndar utbildningsprocessen med en faktor på 2. Vi namnger vår föreslagna algoritm LightRNN för att återspegla dess mycket små modellstorlek och mycket hög träningshastighet.
REF använder 2-komponents delat inbäddning som ordet representation i LightRNN.
LightRNN: Memory and Computation-Efficient Recurrent Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}