Abstract-Recurrent neurala nätverk språkmodeller (RNNLMs) blir allt populärare för en rad tillämpningar inklusive automatisk taligenkänning. En viktig fråga som begränsar deras möjliga tillämpningsområden är de beräkningskostnader som uppstår vid utbildning och utvärdering. Detta dokument beskriver en serie nya effektivitetsförbättrande metoder som gör det möjligt för RNNLMs att mer effektivt tränas på grafik bearbetningsenheter (GPU) och utvärderas på processorer. För det första föreslås en modifierad RNNLM-arkitektur med en icke-klassbaserad, full utdatalagerstruktur (F-RNNLM). Denna modifierade arkitektur underlättar en ny formad meningsmassa parallellisering av F-RNNLM-utbildning med hjälp av stora mängder data på en GPU. För det andra undersöks två effektiva RNNLM-utbildningskriterier baserade på variansreglering och bullerkontrastiv uppskattning för att specifikt minska beräkningen i samband med RNNLM-utgångsskiktet softmax normaliseringsterm. Slutligen, en piped utbildning algoritm som använder flera GPUs används också för att ytterligare förbättra träningshastigheten. Inledningsvis, RNNLMs utbildades på en måttlig dataset med 20M ord från en stor ordförråd konversation telefon taligenkänning uppgift. Träningstiden för RNNLM minskas med upp till en faktor på 53 på en enda GPU över standard CPU-baserade RNNLM verktygskit. En 56 gånger snabbare utvärdering av testtiden på en processorn erhölls över utgångsvärdet för F-RNNLM. Konsekventa förbättringar i både igenkänningsnoggrannhet och perplexitet erhölls också över C-RNNLM. Experiment på Googles en miljard corpus visar också att utbildningen av RNNLM skalar väl.
I Ref föreslogs en modifierad RNN-struktur med ett fullständigt utdatalager för att underlätta utbildningen vid användning av en stor mängd data.
Efficient Training and Evaluation of Recurrent Neural Network Language Models for Automatic Speech Recognition
{'venue': 'TASLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}