Distributionella semantiska metoder för att approximera ordbetydelse med kontextiva vektorer har varit mycket framgångsrika empiriskt, och de senaste åren har sett ett ökat intresse för deras kompositionsförlängning till fraser och meningar. Vi presenterar här en ny modell som, liksom de av Coecke et al. (2010) och Baroni och Zamparelli (2010), nära efterliknar standard montagogiansk semantisk behandling av sammansättning i fördelningstermer. Vår strategi undviker dock ett antal frågor som har förhindrat tillämpningen av de tidigare språkligt motiverade modellerna på fullfjädrade, verkliga meningar. Vi testar modellen på en mängd olika empiriska uppgifter, vilket visar att den konsekvent överträffar en uppsättning konkurrenskraftiga rivaler. Forskningen under de senaste två decennierna har etablerat empiriskt att fördelningsvektorer för ord som erhållits från corpus statistik kan användas för att representera ordbetydelse i en mängd olika uppgifter (Turney och Pantel, 2010). Om fördelningsvektorer kodar vissa aspekter av ordbetydelse, är det naturligt att förvänta sig att liknande aspekter av meningsbetydelse också kan ta emot vektorrepresentationer, som erhålls kompositionellt från ordvektorer. Att utveckla en praktisk modell för kompositionalitet är fortfarande en öppen fråga, som vi tar upp i detta dokument. En metod är att använda enkla, parameterfria modeller som utför operationer som punktvis multiplikation eller summering (Mitchell och Lapata, 2008 ). Sådana modeller visar sig vara förvånansvärt effektiva i praktiken (Blakoe och Lapata, 2012), men de har uppenbara begränsningar. Till exempel, symmetriska operationer som vektor tillägg är okänsliga för syntaktisk struktur, därför betyder skillnader kodade i ordordning går förlorade i sammansättning: pandor äter bambu är identisk med bambu äter pandor. Guevara (2010), Mitchell och Lapata (2010), Socher et al. (2011) och Zanzotto m.fl. (2010) generalisera den enkla tillsatsmodellen genom att tillämpa strukturkodare på vektorerna i två systernoder före tillägg, vilket bryter den inbyggda symmetrin i den enkla tillsatsmodellen. Ett relaterat tillvägagångssätt (Socher et al., 2012) antar rikare lexiska representationer där varje ord representeras med en vektor och en matris som kodar dess interaktion med dess syntaktiska syster. I den utbildning som föreslås i denna modell uppskattas parametrarna i en övervakad miljö. Trots positiv empirisk utvärdering är detta tillvägagångssätt knappast praktiskt för allmän semantisk språkbehandling, eftersom det kräver beräkning dyrt approximativa parameteroptimering tekniker, och det antar uppgiftsspecifika parameter lärande vars resultat inte är avsedda att generalisera över uppgifter.
I den första gruppen tar REF inspiration från den vanliga montagobiska semantiska behandlingen av komposition.
A practical and linguistically-motivated approach to compositional distributional semantics
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}