N-grammodellernas företräde i statistisk språkmodellering har nyligen ifrågasatts av parametriska modeller som använder distribuerade representationer för att motverka de svårigheter som datas gleshet ger upphov till. Vi föreslår tre nya probabilistiska språkmodeller som definierar fördelningen av nästa ord i en sekvens som ges flera föregående ord genom att använda distribuerade representationer av dessa ord. Vi visar hur verkligt värderade distribuerade representationer för ord kan läras samtidigt som man lär sig en stor uppsättning av stokastiska binära dolda funktioner som används för att förutsäga den distribuerade representationen av nästa ord från tidigare distribuerade representationer. Lägga till anslutningar från tidigare tillstånd av binära dolda funktioner förbättrar prestanda som lägger till direkta anslutningar mellan de verkligt värderade distribuerade representationer. En av våra modeller överträffar betydligt de allra bästa ngrammodellerna.
REF föreslog tre grafiska modeller för statistisk språkmodellering och visade på fördelen med att använda en log-bilinear språkmodell.
Three new graphical models for statistical language modelling
{'venue': "ICML '07", 'journal': None, 'mag_field_of_study': ['Computer Science']}