Detta dokument tar ett steg mot en teoretisk analys av förhållandet mellan ordinslag och kontextinbäddningar i modeller som t.ex. ord 2vec. Vi utgår från grundläggande probabilistiska antaganden om arten av ordvektorer, kontextvektorer och textgenerering. Dessa antaganden stöds antingen empiriskt eller teoretiskt av den befintliga litteraturen. Därefter visar vi att under dessa antaganden den allmänt använda ordet PMI matris är ungefär en slumpmässig symmetrisk Gaussian ensemble. Detta i sin tur innebär att kontextvektorer är reflektioner av ordvektorer i ungefär hälften av dimensionerna. Som en direkt tillämpning av vårt resultat föreslår vi ett teoretiskt grundat sätt att knyta vikter i SGNS-modellen.
I REF förmodades det att sammanhangsvektorer är reflektioner av ordvektorer i hälften av dimensionerna.
Context Vectors are Reflections of Word Vectors in Half the Dimensions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}