Under de senaste åren har inbäddade modeller vunnit stor popularitet på grund av deras anmärkningsvärda prestanda på flera uppgifter, inklusive ord analoga frågor och bildtext generation. En oväntad "bieffekt" av sådana modeller är att deras vektorer ofta uppvisar kompositionalitet, dvs. att lägga till två ordvektorer resulterar i en vektor som bara är en liten vinkel bort från vektorn för ett ord som representerar den semantiska sammansättningen av de ursprungliga orden, t.ex. "man" + "royal" = "king". Detta arbete ger en teoretisk motivering för förekomsten av additiv kompositionalitet i ordvektorer inlärda med hjälp av Skip-Gram-modellen. I synnerhet visar den att additiv sammansättning har en ännu strängare betydelse (litet avstånd snarare än liten vinkel) under vissa antaganden om processen som genererar corpus. Som en corollary, förklarar det framgång vektorkalkyl i att lösa ord analogier. När dessa antaganden inte håller, beskriver detta arbete den korrekta icke-linjära sammansättningsoperatören. Slutligen etablerar detta arbete en koppling mellan modellen Skip-Gram och ramverket för tillräcklig dimensionsreduktion (SDR) av Globerson och Tishby: parametrarna för SDR-modeller kan erhållas från modellerna Skip-Gram genom att helt enkelt lägga till information om symbolfrekvenser. Detta visar att SkipGram-inbäddningar är optimala i bemärkelsen Globerson och Tishby och dessutom innebär att de heuristiker som vanligen används för att ungefär passa Skip-Gram-modeller kan användas för att passa SDR-modeller.
På den teoretiska sidan ger REF en teoretisk motivering för additiv inbäddning av sammansättningen i ordmodeller som uppfyller vissa antaganden, såsom hoppa-gram-modellen, men dessa antaganden behandlar inte syntax explicit.
Skip-Gram - Zipf + Uniform = Vector Additivity
{'venue': 'ACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}