Nya trender tyder på att neurala nätverk-inspirerade ord inbäddning modeller överträffar traditionella räkna-baserade fördelningsmodeller på ordlikhet och analoga upptäckt uppgifter. Vi avslöjar att mycket av prestandavinsterna av ordinslag beror på vissa system design val och hyperparameter optimeringar, snarare än inbäddande algoritmer själva. Dessutom visar vi att dessa ändringar kan överföras till traditionella distributionsmodeller, vilket ger liknande vinster. I motsats till tidigare rapporter, observerar vi mestadels lokala eller obetydliga prestandaskillnader mellan metoderna, utan någon global fördel för någon enskild strategi jämfört med de andra.
Men deras påstående utmanades av REF, som visade att överlägsenhet neurala ord inbäddningar inte beror på inbäddning algoritm, men på vissa designval och hyperparameter optimeringar.
Improving Distributional Similarity with Lessons Learned from Word Embeddings
{'venue': 'Transactions of the Association for Computational Linguistics', 'journal': 'Transactions of the Association for Computational Linguistics', 'mag_field_of_study': ['Computer Science']}