Vi introducerar en exponentiell språkmodell som modellerar en hel mening eller ett uttalande som en enda enhet. Genom att undvika kedjeregeln behandlar modellen varje mening som en "bag of features", där funktioner är godtyckliga beräkningsbara egenskaper hos meningen. Den nya modellen är beräkningsmässigt mer effektiv, och mer naturligt lämpad för att modellera globala senentiala fenomen, än den villkorliga exponentiella (t.ex. Maximal Entropy) modeller föreslås hittills. Det är enkelt att använda modellen. Utbildning modellen kräver provtagning från en exponentiell fördelning. Vi beskriver utmaningen att tillämpa Monte Carlo Markov Chain (MCMC) och andra provtagningsmetoder på naturligt språk, och diskutera utjämning och stegstorlek val. Vi presenterar sedan ett nytt förfarande för urval av funktioner, som utnyttjar skillnaderna mellan den befintliga modellen och utbildningskåren. Vi demonstrerar våra idéer genom att konstruera och analysera konkurrenskraftiga modeller inom området Telefoni och införliva lexisk och syntaktisk information.
I REF föreslogs exponentiella språkmodeller för hela gemenskapen.
Whole-Sentence Exponential Language Models: A Vehicle for Linguistic-Statistical Integration
{'venue': 'Computers, Speech and Language', 'journal': None, 'mag_field_of_study': ['Computer Science']}