Den begränsade Boltzmann maskinen (RBM) är ett flexibelt verktyg för att modellera komplexa data, men det har varit betydande beräkningssvårigheter att använda ringpärmsmekanismer för att modellera högdimensionella multinomiella observationer. I program för behandling av naturligt språk är ord naturligt modellerade av K-ary diskreta distributioner, där K bestäms av vokabulärstorleken och lätt kan vara i hundratusental. Den konventionella metoden för att utbilda ringpärmsmekanismer på ordobservationer är begränsad eftersom det krävs provtagning tillstånden för K-way softmax synliga enheter under block Gibbs uppdateringar, en operation som tar tid linjär i K. I detta arbete, vi tar itu med denna fråga genom att anställa en mer allmän klass av Markov kedja Monte Carlo operatörer på de synliga enheterna, vilket ger uppdateringar med beräknings komplexitet oberoende av K. Vi visar framgången med vår strategi genom att utbilda ringpärmsmekanismer på hundratals miljoner ord n-gram med större vokabulär än tidigare möjligt med ringpärmsmekanismer och med hjälp av de inlärda funktioner för att förbättra prestandan på styckning och känsla klassificering uppgifter, uppnå state-of-the-art resultat på den senare.
REF tillämpade den begränsade Boltzmann maskinen för att lära sig representationer fånga meningsfulla syntaktiska och semantiska egenskaper ord.
Training Restricted Boltzmann Machines on Word Observations
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}