Kluster är ofta användbart för att analysera och sammanfatta information inom stora datauppsättningar. Modellbaserade klustermetoder har visat sig vara effektiva för att bestämma antalet kluster, hantera avvikelser och välja den bästa klustermetoden i datauppsättningar som är små till måttliga i storlek. För stora datamängder tenderar nuvarande modellbaserade klustermetoder att begränsas av kraven på minne och tid och den ökande svårigheten med maximal sannolikhetsuppskattning. De kan passa för många kluster i vissa delar av data och / eller missa kluster som innehåller relativt få observationer. Vi föreslår ett inkrementellt tillvägagångssätt för data som kan behandlas som en helhet i minne, vilket är relativt effektivt beräkningsmässigt och har förmågan att hitta små kluster i stora datauppsättningar. Metoden börjar med att man ritar ett slumpmässigt urval av data, väljer ut och monterar en klustermodell till provet och utvidgar modellen till att omfatta hela datauppsättningen med ytterligare EM iterationer. Nya kluster läggs sedan stegvis, initieras med de observationer som är dåligt lämpade av den nuvarande modellen. Vi visar effektiviteten av denna metod genom att tillämpa den på simulerade data, och på bilddata där dess prestanda kan bedömas visuellt.
I REF presenterade författarna en modellbaserad klusteralgoritm för att härleda antalet kluster direkt från data genom att optimera det globala Bayesianska informationskriteriet (BIC).
Incremental Model-Based Clustering for Large Datasets With Small Clusters
{'venue': 'FSKD', 'journal': None, 'mag_field_of_study': ['Computer Science']}