Transdimensionella slumpmässiga fältspråksmodeller (TRF LMs) har nyligen införts, där meningar modelleras som en samling slumpmässiga fält. TRF-metoden har visat sig ha fördelarna att vara beräkningseffektivare i slutänden än LSTM LMs med nära prestanda och kunna integrera rika funktioner på ett flexibelt sätt. I detta papper föreslår vi neurala TRFs, utöver de tidigare diskreta TRFs som endast använder linjära potentialer med diskreta funktioner. Tanken är att använda ickelinjära potentialer med kontinuerliga funktioner, implementeras av neurala nätverk (NNs), i ramverket TRF. Neurala TRF kombinerar fördelarna med både NN och TRF. Fördelarna med ordet inbäddning, icke-linjär funktionsinlärning och större kontextmodellering ärvs från användningen av NNs. Samtidigt bevaras styrkan i effektiv slutledning genom att undvika dyrt softmax. Ett antal tekniska bidrag, inklusive att använda djupa konvolutionella neurala nätverk (CNN) för att definiera potentialen och införliva den gemensamma stokastisk approximation (JSA) strategi i utbildningen algoritm, utvecklas i detta arbete, vilket gör det möjligt för oss att framgångsrikt träna neurala TRF LMs. Olika LM utvärderas i termer av taligenkänning WERs genom att ändra de 1000 bästa listorna över WSJ'92 testdata. Resultaten visar att neurala TRF LMs inte bara förbättras över diskreta TRF LMs, men också presterar något bättre än LSTM LMs med endast en femtedel av parametrarna och 16x snabbare inference effektivitet.
Neurala TRF LMs föreslås i REF, genom att definiera den potentiella funktionen som en djup konvolutionella neurala nätverk (CNN).
Language modeling with neural trans-dimensional random fields
{'venue': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'journal': '2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}