Det kollektiva beteendet hos ett stort antal frihetsgrader kan ofta beskrivas av en handfull variabler. Denna observation motiverar användningen av metoder för att minska dimensionaliteten för att modellera komplexa system och motiverar sökandet efter en liten uppsättning relevanta "kollektiva" variabler. Här analyserar vi denna fråga genom att fokusera på det optimala antalet variabler som behövs för att fånga upp de framträdande egenskaperna hos en generisk datauppsättning och utveckla en ny estimator för den inneboende dimensionen (ID). Genom att approximera geodesik med minimala avståndsvägar på en graf analyserar vi fördelningen av parvisa avstånd runt maximum och utnyttjar dess beroende av dimensionaliteten för att få en ID-skattning. Vi visar att estimatorn inte är beroende av formen på det inneboende grenröret och är mycket exakt, även för ytterst små provstorlekar. Vi tillämpar metoden på flera relevanta dataset från bildigenkänningsdatabaser och protein multipla sekvensanpassningar och diskuterar möjliga tolkningar för den uppskattade dimensionen mot bakgrund av korrelationerna mellan indatavariabler och informationsinnehållet i datasetet. Kontinuerliga framsteg inom teknik som är involverad i datainsamling tillsammans med snabbt växande beräkningsförmåga, dataöverföringshastigheter och lagringskapacitet ger tillgång till volymer av data av aldrig tidigare skådad storlek inom de mest skiftande områdena mänsklig verksamhet 1. Denna utveckling lovar att tillgängliggöra för empirisk analys de regler som styr dessa fenomen, vilket ger aldrig tidigare skådade möjligheter att modellera dessa komplexa system, typiskt kännetecknas av en stor uppsättning egenskaper eller attribut. Ur praktisk synvinkel är dock varje framgångsrik modellering och prediktiv strategi nödvändigtvis beroende av en matematisk beskrivning som använder ett parsimoniskt antal relevanta variabler. Hur man får en sådan "dimensionell minskning" är för närvarande föremål för intensiva teoretiska undersökningar inom området dataanalys 2. Preliminärt för denna uppgift är en grundläggande fråga: hur många variabler behövs för att fånga de framträdande egenskaperna i systemets beteende? Att hitta ett definitivt svar på denna något tvetydiga fråga är avgörande för att utforma oövervakade strategier som kan tillhandahålla datarepresentationer som är minimalt överflödiga, men ändå så trogna som möjligt. En av de vanligaste metoderna för att ta itu med detta problem är att definiera en lämplig kostnadsfunktion och upptäcka en förändring i dess utveckling eftersom fler variabler används för att beskriva datapunkterna. Spektrala tekniker som Principal Component Analysis 3, Multidimensionell Skalning 4, Laplacian Eigenmaps 5 och deras respektive icke-linjära förlängningar, Lokalt Linjära Inbäddning 6, Isomap 7 och Diffusion Maps 8 hitta den bästa lågdimensionella projektion av data genom att minimera en kostnadsfunktion som är i huvudsak en projektion fel. I alla dessa fall kan det optimala antalet variabler härledas från diskontinuiteter eller förändringar av lutningen i eigenvärdeprofilen. Trots sin enkelhet plågas detta tillvägagångssätt av oundvikliga tvetydigheter i samband med upptäckten av "hopp" eller "knäer" i en funktion (spektrumet) som definieras över en diskret uppsättning värden. En alternativ synpunkt baseras på tolkningen av datapunkterna som prover från en högdimensionell geometrisk form, eller "intrinsiskt grenrör". Därefter kan det optimala antalet variabler intuitivt identifieras med dimensionen av det linjära utrymmet tangent till detta grenrör vid varje punkt. Flera metoder generaliserar dessa begrepp för att uppskatta den topologiska eller "intrinsiska" dimensionen (ID) av generiska dataset. Detta görs genom lokala och globala metoder, som utnyttjar informationen i grannskapet av varje punkt [9] [10] [11] [12], och i hela datauppsättningen 13, respektive. Den senare infördes ursprungligen för att uppskatta fraktalen
REF utnyttjar det geodesiska avståndet som induceras av ett områdesdiagram över data.
Accurate Estimation of the Intrinsic Dimension Using Graph Distances: Unraveling the Geometric Complexity of Datasets
{'venue': 'Scientific Reports', 'journal': 'Scientific Reports', 'mag_field_of_study': ['Computer Science', 'Medicine']}