Workshopen CfP förutsätter att nedströmsutvärdering av ordinbäddningar är opraktisk, och att en giltig utvärderingsmått för par av ordinbäddningar kan hittas. Jag hävdar nedan att om så är fallet är det enda meningsfulla utvärderingsförfarandet att jämföra med åtgärder för bearbetning av mänskliga ord i naturen. Sådan utvärdering är icke-trivial, men jag presenterar en praktisk procedur här, att utvärdera ord inbäddningar som funktioner i en multi-dimensionell regression modell förutsäga hjärnavbildning eller eyetracking ord-nivå aggregerad statistik. Vad är meningen med inbäddningar? För att bestämma hur man ska utvärdera ordinbäddningar, måste vi först bestämma vilka ord inbäddningar är tänkta att koda. Om vi antar att ordet inbäddning i första hand är uttryck för ordens betydelse, är det vettigt att rådfråga lexiska semantiska teorier. Här är en mycket, mycket, mycket (mycket,. . ) rå karakterisering av lexisk semantik: Forskare är oense om ord definieras av deras kooccurences (Fyrth, 1957), de sammanhang i vilka de används (Wittgenstein, 1953), hur de är organiserade i hjärnan (Miller och Fellbaum, 1992), eller de referenser de betecknar i den verkliga världen (Montague, 1973). Jag inser att detta är en löjligt förenklad minskning av moderna lexiska semantik, men jag tror att det räcker för vår diskussion om hur man bäst värderar ordinslag. 1 Några mått här? Från (en eller flera av) dessa teorier vill vi härleda en giltig utvärderingsmått. Enligt min mening uppfyller ett giltigt mått två principer: i) att det mäter vad vi vill mäta (brist), och ii) att det inte lätt kan vara 1 Se diskussionen i sista stycket. Hackad. Vad jag menar med (i) är att vi vill att ord inbäddar för att fånga betydelsen av ord; och med (ii), att anledningen till att vi vill spela utvärderingsspelet är eftersom det inte är uppenbart vad innebörden av ett ord är. Om innebörden av ett ord gavs direkt av dess karaktär sekvens, skulle jag inte skriva detta papper, och denna workshop skulle inte ha föreslagits. Frågan är då, ger någon av de fyra teorierna ovan oss ett giltigt mått för den allmänna kvaliteten på ordet inbäddningar? Nedan hävdar jag att ingen av de fyra teorierna lämnar oss med fullt giltiga utvärderingsmått, förutom kanske COGNITIVE LEXICAL SEMANTICS. Jag föreslår att man utvärderar inbäddningar genom direkt jämförelse med data från hjärnans imaging och eyetracking snarare än ordassociationsstandarder, som ett alternativ till COGNITIVE LEXICAL SEMAN-TICS. Jag visar att state-of-the-art inbäddningar korrelerar dåligt med sådana data, men hävdar att detta ändå är den enda giltiga metriska kvar på tabellen, om nedströms utvärdering inte är ett alternativ - och att vi, praktiskt, kan utvärdera inbäddningar genom fel av en multi-dimensionell regressionsmodell förutsäga hjärnavbildning eller eyetracking data med hjälp av inbäddningar som funktioner. Co-occurrency-teori I CO-OCCURRENCE-teorin definieras ett ords betydelse genom dess samtidiga förekomster med andra ord - t.ex. ges betydelsen av stort genom dess samtidiga förekomst med ord som hus och små, d.v.s. dess värde i en co-occurrence-matris. Ord inbäddningar bör därför förutsäga lexikala samtidiga förekomster, som kan utvärderas i form av perplexitet eller ordfelsfrekvens. Detta var hur inbäddningar utvärderades i de tidiga tidningarna, t.ex., (Mikolov et al., 2010). Men notera att bygga co-occurence matriser är också en integrerad del av standard metoder för att inducera inbäddningar (Levy et al., 2015). I bilaga I till förordning (EG) nr 1333/2008 ska punkt 1 ersättas med följande:
Det har också gjorts ansträngningar för att utvärdera ord inbäddningar mot fMRI inspelningar med tanken att inbäddningar kan förklara en del av den neurala aktiviteten REF.
Evaluating word embeddings with fMRI and eye-tracking
{'venue': 'RepEval@ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}