Clustering spelar en viktig roll vid utvinning av big data både som modellteknik och som ett förbearbetningssteg i många implementeringar av datautvinningsprocesser. Fuzzy clustering ger mer flexibilitet än icke-fuzzy metoder genom att låta varje datapost tillhöra mer än en kluster i viss utsträckning. En allvarlig utmaning när det gäller fuzzy clustering är dock bristen på skalbarhet. Massiva datauppsättningar inom nya områden som geovetenskap, biologi och nätverk kräver parallella och distribuerade beräkningar med hög prestanda för att lösa verkliga problem. Även om vissa klustermetoder redan har förbättrats för att köra på big data-plattformar, men deras genomförandetid är mycket ökad för stora datauppsättningar. I detta dokument, en skalbar Fuzzy C-Means (FCM) kluster som heter BigFCM föreslås och utformats för Hadoop distribuerade dataplattform. Baserat på kartminskande programmeringsmodell utnyttjar den flera mekanismer, inklusive en effektiv caching design för att uppnå flera storleksordningar minskning av genomförandetid. Omfattande utvärdering över multi-gigabyte dataset visar att BigFCM är skalbar samtidigt som den bevarar kvaliteten på kluster.
I REF föreslås och utformas en skalbar C-Means-klustermetod vid namn BigFCM för Hadoops distribuerade dataplattform.
BigFCM: Fast, Precise and Scalable FCM on Hadoop
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}