State-of-the-art ord inbäddningar, som ofta utbildas i säck-of-words (BOW) sammanhang, ger en hög kvalitet representation av aspekter av semantik av substantiv. Men deras kvalitet minskar avsevärt för uppgiften att verb likhet förutsägelse. I detta papper visar vi att med hjälp av symmetriska mönster kontexter (SPs, t.ex., "X och Y") förbättrar ord 2vek verb likhet prestanda med upp till 15% och är också avgörande för adjektiv likhet förutsägelse. De oövervakade SP-kontexterna är till och med överlägsna en mängd olika beroendekontexter som extraheras med hjälp av en övervakad beroendetolk. Dessutom observerar vi att SP och beroendesamordning sammanhang (Coor) fånga en liknande typ av information, och visar att Coor sammanhang är överlägsen andra beroende sammanhang inklusive uppsättningen av alla beroende sammanhang, även om de fortfarande är underlägsna SP. Slutligen finns det betydligt färre SP sammanhang jämfört med alternativa representationer, vilket leder till en massiv minskning av utbildningstiden. På en 8G ord corpus och en 32 kärna maskin, SP modellen tränar på 11 minuter, jämfört med 5 och 11 timmar med BOW respektive alla beroende sammanhang.
REF använde mönsterkontexter för att uppskatta inbäddade ord, vilket visar på bättre resultat av ordlikhet jämfört med påse-of-word sammanhang.
Symmetric Patterns and Coordinations: Fast and Enhanced Representations of Verbs and Adjectives
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}