Trots förlusten av semantisk information, bag-of-ngram baserade metoder fortfarande uppnå state-of-the-art resultat för uppgifter som känsla klassificering av långa film recensioner. Många dokument inbäddningar metoder har föreslagits för att fånga semantik, men de kan fortfarande inte överträffa påse-of-ngram baserade metoder på denna uppgift. I detta dokument ändrar vi arkitekturen för den nyligen föreslagna punkt Vector, vilket gör det möjligt att lära sig dokument vektorer genom att förutsäga inte bara ord, men n-gram funktioner också. Vår modell kan fånga både semantik och ordordning i dokument och samtidigt behålla den uttrycksfulla kraften hos inlärda vektorer. Experimentella resultat på IMDB film recension dataset visar att vår modell överträffar tidigare djupt lärande modeller och bag-of-ngram baserade modeller på grund av ovanstående fördelar. Mer robusta resultat uppnås också när vår modell kombineras med andra modeller. Vår modells källkod kommer också att publiceras tillsammans med detta dokument.
Dokument Vektor genom att förutsäga n-gram (DV-ngram) REF tränar punktvektorer för att förutsäga inte bara orden i stycket, utan även n-gram i punkten.
Learning Document Embeddings by Predicting N-grams for Sentiment Classification of Long Movie Reviews
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}