Analysera stora volymer av högdimensionella data är en fråga av grundläggande betydelse i datavetenskap, molekylära simuleringar och utanför. Flera metoder fungerar utifrån antagandet att det viktiga innehållet i en datauppsättning tillhör ett grenrör vars Intrinsic Dimension (ID) är mycket lägre än det grova antalet koordinater. Ett sådant grenrör är i allmänhet vridet och böjt; dessutom kommer punkterna på det att vara icke-uniformt fördelade: två faktorer som gör identifieringen av ID och dess utnyttjande riktigt svårt. Här föreslår vi en ny ID-skattning med endast avståndet mellan den första och den näst närmaste grannen av varje punkt i provet. Denna extrema minimalitet gör det möjligt för oss att minska effekterna av krökning, av densitetsvariation, och den resulterande beräkningskostnaden. ID-skattaren är teoretiskt exakt i jämnt fördelade dataset, och ger konsekventa åtgärder i allmänhet. När den används i kombination med blockanalys gör den det möjligt att särskilja de relevanta dimensionerna som en funktion av blockstorleken. Detta gör det möjligt att uppskatta ID även när data ligger på ett grenrör som störs av ett högdimensionellt buller, en situation som ofta förekommer i verkliga datamängder. Vi visar nyttan av tillvägagångssättet för molekylära simuleringar och bildanalys. Den senaste utvecklingen inom hård- och programvaruteknik har lett till en drastisk ökning av tillgången till data: vilket hävdas i ref. 1, "Eran av big data har kommit bortom allt tvivel". Detta utlöser utvecklingen av mer och mer avancerade metoder som syftar till att analysera, klassificera, strukturera och förenkla denna massa information för att göra den meningsfull och användbar. Data representeras vanligtvis av högdimensionella vektorer, men i många fall kan de i princip vara inbyggda i utrymmen med lägre dimensioner utan informationsförlust: denna dimensionalitetsminskning är ofta nödvändig för att algoritmiska strategier ska fungera i praktiken. Under de senaste åren har en rad olika tekniker föreslagits för att minska dimensionaliteten hos data 2; för detta ändamål är en grundläggande fråga: vilket är det minsta antal variabler som behövs för att korrekt beskriva de viktiga egenskaperna i ett system? Sådant antal är känt som Intrinsic Dimension (ID). Information om ID för en dataset är relevant i många olika sammanhang, till exempel i molekylära simuleringar, där ofta en dimensionalitet reduktion krävs 3, eller i bioinformatik 4, eller i bildanalys där ID är en lämplig deskriptor för att skilja mellan olika typer av bildstrukturer 5. Uppskattning av ID kan vara en svår uppgift; data är nästan undantagslöst kännetecknas av densitet variationer, och detta gör uppskattningen av ID insnärjd med uppskattningen av densiteten. Dessutom ligger data ofta på ett topologiskt komplext böjt grenrör. En annan fråga som uppstår i höga dimensioner är att data beter sig på ett extremt kontraintuivt sätt på grund av den så kallade förbannelsen av dimensionalitet 4 : det minsta provavståndet ökar med ID, och nästan hela utrymmet sprids "långt bort" från varje punkt. Ett ännu mer subtilt problem är att i verkliga dataset inte alla dimensioner har samma betydelse; några av dem identifierar riktningar där egenskaperna i datasetet förändras anmärkningsvärt, medan andra kännetecknas av små variationer som kan vara irrelevanta för analysen och kan märkas som "buller". Tänk till exempel på ett prov av konfigurationer som utforskas under en molekylär dynamik som körs vid ändlig temperatur av en komplex biomolekyl. I avsaknad av begränsningar på bindningslängden, den inneboende dimensionen av den hyperytan utforskas i denna dynamik är 3N, där N är antalet atomer. En väldefinierad estimator bör i princip ange detta antal när oändligt många konfigurationer provtas. Denna asymptotiska uppskattning är emellertid klart irrelevant för praktiska ändamål. De flesta av de 3N möjliga riktningarna är mycket återhållsamma, till exempel på grund av steriska sammandrabbningar mellan angränsande atomer, och de i vilka systemet kan röra sig med en betydande mängd är normalt mycket färre. En praktiskt taget meningsfull uppskattning av ID bör ge antalet av dessa mjuka riktningar.
ID kan ses som det minsta antal variabler som behövs för att korrekt beskriva egenskaperna hos ett system REF och som har använts inom olika områden där data i allmänhet är stora.
Estimating the intrinsic dimension of datasets by a minimal neighborhood information
{'venue': 'Scientific Reports', 'journal': 'Scientific Reports', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}