Clustering problem har många tillämpningar och blir mer utmanande när storleken på data ökar. I den här artikeln överväger vi att utforma klusteralgoritmer som kan användas i MapReduce, den mest populära programmeringsmiljön för behandling av stora datamängder. Vi fokuserar på de praktiska och populära klusterproblemen, k-center och k-median. Vi utvecklar snabba kluster algoritmer med konstant faktor approximation garantier. Ur ett teoretiskt perspektiv ger vi den första analysen som visar att flera klusteralgoritmer finns i MRC 0, en teoretisk MapReduce klass introduceras av Karloff et al. [26]................................................................. Våra algoritmer använder provtagning för att minska datastorleken och de kör en tidskrävande klusteralgoritm som lokal sökning eller Lloyds algoritm på den resulterande datamängden. Våra algoritmer har tillräcklig flexibilitet för att användas i praktiken eftersom de körs i ett konstant antal MapReduce rundor. Vi kompletterar dessa resultat genom att utföra experiment med hjälp av våra algoritmer. Vi jämför våra algoritmers empiriska prestanda med flera sekventiella och parallella algoritmer för k-medianproblemet. Experimenten visar att våra algoritmers lösningar liknar eller är bättre än de andra algoritmernas lösningar. Dessutom, på datamängder som är tillräckligt stora, är våra algoritmer snabbare än de andra parallella algoritmer som vi testade. F.2.2 [Analys av algoritmer och problemkomplexitet]: Icke-numeriska algoritmer och problem * Alla författare är de första författarna. † Detta är ett utdraget abstrakt utan bevis. En fullständig version av tidningen kommer att göras tillgänglig på arXiv.
Ene m.fl. REF gav en MapReduce-algoritm för k-center- och k-medianproblemen.
Fast clustering using MapReduce
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}