I denna uppsats ger vi en teoretisk förståelse av ordet inbäddande och dess dimensionalitet. Motiverade av den enhetliga variansen av ordet inbäddning, föreslår vi Parwise Inner Product (PIP) förlust, ett nytt mått på olikheten mellan ord inbäddningar. Med hjälp av tekniker från matris perturbation teori, avslöjar vi en grundläggande bias-variant kompromiss i dimensionalitet val för ord inbäddningar. Denna bias-variance kompromiss kastar ljus över många empiriska observationer som tidigare var oförklarliga, till exempel förekomsten av en optimal dimensionalitet. Dessutom avslöjas nya insikter och upptäckter, som när och hur ordinslag är robusta för att överexponera. Genom att optimera avvägningen mellan olika aspekter av PIP-förlusten kan vi uttryckligen besvara den öppna frågan om dimensionellitetsval för ordinslag.
REF föreslår parvis inre produkt (PIP) förlust för att mäta kvaliteten på en inbäddning.
On the Dimensionality of Word Embedding
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}