Transdimensionella slumpmässiga fältspråksmodeller (TRF LMs) där meningar är modellerade som en samling slumpmässiga fält, har visat nära prestanda med LSTM LMs i taligenkänning och är beräkningsmässigt mer effektiva i slutledning. Dock är träningseffektiviteten hos neurala TRF LMs inte tillfredsställande, vilket begränsar skalbarheten av TRF LMs på stora tränings corpus. I detta dokument, flera tekniker på både modellformulering och parameteruppskattning föreslås för att förbättra utbildningen effektivitet och prestanda neural TRF LMs. För det första omformuleras TRF i form av exponentiell lutning av en referensfördelning. För det andra införs en bullerkontrastiv uppskattning (NCE) för att gemensamt uppskatta modellparametrarna och normaliseringskonstanterna. För det tredje utökar vi de neurala TRF LMs genom att gifta sig med de djupa konvolutionella neurala nätverket (CNN) och den dubbelriktade LSTM till den potentiella funktionen för att extrahera de djupa hierarkiska funktioner och dubbelriktat sekventiella funktioner. Genom att använda alla ovanstående tekniker möjliggörs framgångsrik och effektiv träning av neurala TRF LMs på ett 40x större träningsset med endast 1/3 träningstid och ytterligare minskar WER med relativ reduktion på 4,7 % utöver ett starkt LSTM LM baslinje.
I REF, NCE införs för att utbilda TRF LMs, och CNN och LSTM är gifta för att definiera den potentiella funktionen.
Learning Neural Trans-Dimensional Random Field Language Models with Noise-Contrastive Estimation
{'venue': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'journal': '2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}