Kluster är ett grundläggande förfarande vid analys av vetenskapliga data. Det används allmänt i vetenskaperna. Trots årtionden av forskning har befintliga klusteralgoritmer begränsad effektivitet i höga dimensioner och kräver ofta inställningsparametrar för olika domäner och datauppsättningar. Vi presenterar en klusteralgoritm som uppnår hög noggrannhet över flera domäner och skalor effektivt till höga dimensioner och stora datauppsättningar. Den presenterade algoritmen optimerar ett smidigt kontinuerligt mål, som bygger på robust statistik och gör att starkt blandade kluster kan redas ut. Målets kontinuerliga karaktär gör det också möjligt att integrera kluster som en modul i end-to-end-rörledningar för lärande. Vi demonstrerar detta genom att utöka algoritmen för att utföra gemensam klustring och dimensionalitetsminskning genom att effektivt optimera ett kontinuerligt globalt mål. Den presenterade metoden utvärderas på stora datauppsättningar av ansikten, handskrivna siffror, objekt, nyhetstråd artiklar, sensor avläsningar från rymdfärjan, och protein uttrycksnivåer. Vår metod uppnår hög noggrannhet i alla datauppsättningar och överträffar den bästa tidigare algoritmen med en faktor på 3 i genomsnitt. klustrering av dataanalys  på oövervakad inlärning C lystering är en av de grundläggande experimentella förfarandena i dataanalys. Den används inom praktiskt taget alla naturvetenskaper och samhällsvetenskaper och har spelat en central roll inom biologi, astronomi, psykologi, medicin och kemi. Data-kluster algoritmer har utvecklats för mer än ett halvt sekel (1). Betydande framsteg under de senaste två decennierna inkluderar spektralklustring (2-4), generaliseringar av klassiska centerbaserade metoder (5, 6), blandningsmodeller (7, 8), medelförskjutning (9), affinitetsförökning (10), subrymdsklustring (11-13), icke-parametriska metoder (14, 15) och funktionsval (16) (17) (18) (19) (20). Trots denna utveckling har ingen enskild algoritm dykt upp för att tränga undan k - medelschemat och dess varianter (21). Detta trots de kända nackdelarna med sådana centerbaserade metoder, inklusive känslighet för initiering, begränsad effektivitet i högdimensionella utrymmen, och kravet på att antalet kluster ska sättas i förväg. Uthålligheten av dessa metoder är delvis på grund av deras enkelhet och delvis på grund av svårigheter förknippade med några av de nya teknikerna, såsom ytterligare hyperparametrar som behöver justeras, höga beräkningskostnader, och varierande effektivitet mellan olika domäner. Följaktligen måste forskare som analyserar stora högdimensionella datauppsättningar med okänd distribution upprätthålla och tillämpa flera olika klusteralgoritmer i hopp om att man ska lyckas. Böcker har skrivits för att vägleda utövare genom landskapet av data-clustering tekniker (22). Vi presenterar en klusteralgoritm som är snabb, enkel att använda och effektiv i höga dimensioner. Algoritmen optimerar ett tydligt kontinuerligt mål, med hjälp av vanliga numeriska metoder som skalas till massiva datauppsättningar. Antalet kluster behöver inte vara känt i förväg. Algoritmens funktion kan förstås genom att jämföra den med andra populära klustertekniker. I centerbaserade algoritmer som k - medel (1, 24) initieras en liten uppsättning putativa klustercenter från datan och sedan iterativt förfinas. Vid affinitetsutbredning (10) kommunicerar datapunkterna över en grafstruktur för att välja en undergrupp av punkterna som representanter. I den presenterade algoritmen har varje datapunkt en särskild representant, som ursprungligen var placerad vid datapunkten. Under algoritmens gång rör sig representanterna och smälter samman till lättåtkomliga kluster. Utvecklingen av algoritmen visualiseras i bild. 1................................................................ Vår formulering är baserad på senaste konvexa avslappningar för kluster (25, 26). Men vårt mål är medvetet inte konvext. Vi använder reescending robusta estimatorer som tillåter även kraftigt blandade kluster att redas ut genom att optimera ett enda kontinuerligt mål. Trots att målet inte är konvext kan optimeringen fortfarande utföras med hjälp av vanliga linjära leasquare-lösare, som är mycket effektiva och skalbara. Eftersom algoritmen uttrycker klusterbildning som optimering av ett kontinuerligt mål baserat på robust uppskattning, kallar vi det robust kontinuerlig klusterbildning (RCC). En av egenskaperna hos den presenterade formuleringen är att klustering reduceras till optimering av ett kontinuerligt mål. Detta gör det möjligt att integrera kluster i end-to-end-rörledningar för lärande. Vi visar detta genom att utvidga RCC till att utföra gemensam klusterbildning och dimensionalitetsminskning. Den utökade algoritmen, som kallas RCC-DR, lär sig en inbäddning av data i ett lågdimensionellt utrymme där den är hopsamlad. Inbäddning och klusterering utförs gemensamt av en algoritm som optimerar ett tydligt globalt mål. Vi utvärderar RCC och RCC-DR på ett stort antal datauppsättningar från en mängd olika domäner. Dessa inkluderar bilddatauppsättningar, dokumentdatauppsättningar, en datauppsättning av sensoravläsningar från rymdfärjan, och en datauppsättning av proteinuttrycksnivåer i möss. Experiment visar att vår metod avsevärt överträffar tidigare toppmoderna tekniker. RCC-DR är särskilt robust över datauppsättningar från olika domäner, överträffar den bästa tidigare algoritmen med en faktor på 3 i genomsnitt rang. Vi anser att det är ett problem att samla en uppsättning n-datapunkter. Ingången betecknas med X = [x1, x2,. .., xn ], där xi R D. Vår strategi fungerar på en uppsättning representanter U = [u1, u2,. .., un ], där ui R D. Representanterna U initieras på motsvarande datapunkter X. Optimeringen fungerar på representationen U, som smälter samman för att avslöja klusterstrukturen latent i data. Därför är antalet kluster Clustering ett grundläggande experimentellt förfarande i dataanalys. Den används inom praktiskt taget alla naturvetenskaper och samhällsvetenskaper och har spelat en central roll inom biologi, astronomi, psykologi, medicin och kemi. Trots betydelsen av klusterbildning och allestädes närvarande algoritmer lider av en mängd olika nackdelar och ingen universell lösning har dykt upp. Vi presenterar en klusteralgoritm som på ett tillförlitligt sätt uppnår hög noggrannhet över domäner, hanterar hög datadimensionalitet och skalor till stora datauppsättningar. Algoritmen optimerar ett smidigt globalt mål med hjälp av effektiva numeriska metoder. Experiment visar att vår metod överträffar toppmoderna klusteralgoritmer genom betydande faktorer inom flera områden.
Shah och Koltun REF löser gemensamt uppgifterna att klustra och minska dimensionaliteten genom att effektivt optimera ett kontinuerligt globalt mål baserat på robust statistik, vilket gör det möjligt att reda ut starkt blandade kluster.
Robust continuous clustering
{'venue': 'Proceedings of the National Academy of Sciences of the United States of America', 'journal': 'Proceedings of the National Academy of Sciences of the United States of America', 'mag_field_of_study': ['Computer Science', 'Medicine']}