Vi formulerar språkmodellering som ett matris factorization problem, och visar att expressiviteten av Softmax-baserade modeller (inklusive majoriteten av neurala språk modeller) begränsas av en Softmax flaskhals. Med tanke på att naturligt språk är mycket kontextberoende innebär detta ytterligare att Softmax med distribuerade ordinslag i praktiken inte har tillräcklig kapacitet för att modellera naturligt språk. Vi föreslår en enkel och effektiv metod för att ta itu med denna fråga, och förbättra den senaste tekniken perplexities på Penn Treebank och WikiText-2 till 47.69 respektive 40.68. 1 * Lika lön. Beställning bestäms av tärningar rullande. 1 Kod finns tillgänglig på httpsUnder Review som ett konferenspapper på ICLR 2018 matriser som har mycket större normaliserade singular värden och därmed mycket högre rang än Softmax och andra baslinjer på verkliga datauppsättningar. Vi utvärderar vårt föreslagna tillvägagångssätt när det gäller referensvärden för standardspråkmodellering. MoS förbättras avsevärt jämfört med nuvarande toppmoderna resultat på riktmärken, med upp till 3,6 poäng i fråga om komplexitet, och når perplexitet 47,69 på Penn Treebank och 40,68 på WikiText-2. Vi tillämpar dessutom MoS på en dialogruta dataset och visar förbättrad prestanda över Softmax och andra baslinjer. Vårt bidrag är tvåfaldigt. Först identifierar vi flaskhalsen Softmax genom att formulera språkmodellering som ett matrisfaktoriseringsproblem. För det andra föreslår vi en enkel och effektiv metod som avsevärt förbättras jämfört med de senaste resultaten.
REF visar att detta tillvägagångssätt inte löser problemet med flaskhals med softmax.
Breaking the Softmax Bottleneck: A High-Rank RNN Language Model
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}