Den nyligen introducerade kontinuerliga Skip-gram modellen är en effektiv metod för att lära sig högkvalitativa distribuerade vektor representationer som fångar ett stort antal exakta syntaktiska och semantiska ordrelationer. I detta dokument presenterar vi flera tillägg som förbättrar både kvaliteten på vektorerna och träningshastigheten. Genom att subsampla de ofta förekommande orden får vi en betydande upptrappning och lär oss också mer regelbundna ordrepresentationer. Vi beskriver också ett enkelt alternativ till det hierarkiska softmax som kallas negativ provtagning. En inneboende begränsning av ordrepresentationer är deras likgiltighet för ordföljd och deras oförmåga att representera idiomatiska fraser. Till exempel, betydelsen av "Kanada" och "Air" kan inte enkelt kombineras för att få "Air Canada". Motiverade av detta exempel presenterar vi en enkel metod för att hitta fraser i text, och visar att lära sig bra vektor representationer för miljontals fraser är möjligt.
Mikolov m.fl. Ref presenterade en kontinuerlig hoppa-gram modell, som är en effektiv metod för att lära högkvalitativa ord inbäddning från storskaliga ostrukturerade corpus.
Distributed Representations of Words and Phrases and their Compositionality
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}