Vi ger den första omfattande utvärderingen av hur användning av olika typer av sammanhang för att lära skip-gram ord inbäddningar påverkar prestanda på ett brett spektrum av inneboende och extrinsiska NLP uppgifter. Våra resultat tyder på att medan inneboende uppgifter tenderar att uppvisa en tydlig preferens till vissa typer av sammanhang och högre dimensionalitet, mer noggrann inställning krävs för att hitta de optimala inställningarna för de flesta av de extrinsiska uppgifter som vi övervägde. Dessutom, för dessa extrinsiska uppgifter, finner vi att när nyttan med att öka den inbäddade dimensionaliteten är mestadels utmattad, kan enkel sammanblandning av ord inbäddade, inlärda med olika kontexttyper, ge ytterligare prestandavinster. Som ytterligare ett bidrag föreslår vi en ny variant av hoppa-gram-modellen som lär sig ordinslag från viktade sammanhang med ersättningsord.
REF utvärderar ord inbäddade i skip-gram på ett brett spektrum av inneboende och extrinsiska NLP-uppgifter.
The Role of Context Types and Dimensionality in Learning Word Embeddings
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}