I denna not diskuterar vi en gemensam missuppfattning, nämligen att inbäddningar alltid används för att minska objektutrymmets dimensionalitet. Vi visar att när vi mäter dimensionalitet i form av informationsentropi då inbäddningen av glesa sannolikhetsfördelningar, som kan användas för att representera glesa funktioner eller data, kan minska dimensionaliteten i objektet utrymme. Inbäddningarna ger emellertid en annorlunda och ofta mer meningsfull representation av föremålen för en viss uppgift. Dessutom ger vi övre gränser och mer exakta riktlinjer för att välja inbäddningsdimensionen. Kartläggningen av begrepp, objekt eller objekt i ett vektorutrymme kallas en inbäddning. Representationen av n objekt i d dimensional vektor utrymme används i många tillämpningar, som i stort sett kan delas in i två kategorier. Den första kategorin kännetecknas av modeller som producerar inbäddningar. I detta fall representerar inbäddningarna den information som erhålls genom modellen om objektutrymmet. Om modellen representerar en sannolikhetsfördelning över poster i datasetet kan vi tolka resultatet som en inbäddning av denna sannolikhetsfördelning. Till exempel används singular value decomposition Golub & Van Loan (2012) i latent semantisk analys/indexering (LSA/LSI) Dumais (2005) för att producera lågvärdiga approximationer av de ursprungliga uppgifterna. I detta fall en låg-rank approximation av ord-dokument matris C  på R m×n för m ord och n dokument, där varje rad motsvarar ett ord och varje kolumn motsvarar ett dokument, medan icke-noll poster representerar förekomsten av ord i dokument, kan skrivas som där matriserna W  på R m×d och V på R n×d kan tolkas som inbäddningar av ord och dokument i en d dimensional utrymme. En liknande tolkning kan ges till matris factorization för samarbetsfiltrering, med förbehållet att tomma matris helar är okända (snarare än att vara (2017) kan ses som att generera en sannolikhetsfördelning över en uppsättning klasser/objekt. Låt denna sannolikhetsfördelning representeras som en vektor p  på R n. Observera att de inbäddningar som produceras av modellerna, såsom inbäddningar av målspråksord i NMT, representerar en inbäddning av denna sannolikhetsfördelning över n objekt i d dimensional utrymme v = V T p (2) för vissa inbäddning matris V  på R n×d. Observera att under utbildningen vi ofta börjar med en godtycklig sannolikhetsfördelning och därför vektor p är tät. Men när träningen konvergerar mot slutet är det vanligt att sannolikhetsfördelningen koncentrerar sig mer på vissa punkter och därför blir vektor p gles (och vid behov kan den kvantifieras för att eliminera en lång svans av små värden). Det kommer att bli tydligt i denna not att den information som inbäddningen V behöver representera kommer att variera kraftigt baserat på signaturen av vektor p. I synnerhet, när p är mycket gles och dess element kan kvantifieras till några värden den inbäddande dimension d som behövs för att representera informationen i den kan vara relativt liten. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
I riktning mot utformningen av inbäddningarna föreslog REF ett tillvägagångssätt för att föreskriva inbäddningsdimensionen baserat på mängden information som ingår i varje kategori.
On the Dimensionality of Embeddings for Sparse Features and Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}