Abstract-befintliga parallella gruvalgoritmer för frekventa artiklar saknar en mekanism som möjliggör automatisk parallellisering, lastbalansering, datadistribution och feltolerans på stora kluster. Som en lösning på detta problem, vi designar en parallell frekventa itemets gruvalgoritm som kallas FiDoop med hjälp av MapReduce programmering modell. För att uppnå komprimerad lagring och undvika att bygga villkorliga mönster baser, FiDoop innehåller de frekventa objekt ultrametriska träd, snarare än konventionella FP träd. I FiDoop genomförs tre MapReduce-jobb för att slutföra gruvuppgiften. I den avgörande tredje MapReduce jobb, mapparna självständigt sönderdela objekt, minskarna utföra kombinationsverksamhet genom att bygga små ultrametriska träd, och den faktiska gruvdriften av dessa träd separat. Vi implementerar FiDoop på vår egen Hadoop kluster. Vi visar att FiDoop på klustret är känslig för datadistribution och dimensioner, eftersom objekt med olika längder har olika nedbrytnings- och byggkostnader. För att förbättra FiDoops prestanda utvecklar vi en arbetsbelastningsbalans som mäter belastningsbalansen över klustrets datornoder. Vi utvecklar FiDoop-HD, en förlängning av FiDoop, för att öka gruvprestandan för högdimensionell dataanalys. Omfattande experiment med verkliga himmelska spektraldata visar att vår föreslagna lösning är effektiv och skalbar. Index Terms-Frequent objekt, frekventa objekt ultrametriska träd (FIU-träd), Hadoop kluster, belastningsbalans, MapReduce.
FiDoop och dess förlängning FiDoop-HD föreslås av Xun et al. REF använder en FIU-Tree (ofta objekt ultrametriska träd) i stället för FP-Tree.
FiDoop: Parallel Mining of Frequent Itemsets Using MapReduce
{'venue': 'IEEE Transactions on Systems, Man, and Cybernetics: Systems', 'journal': 'IEEE Transactions on Systems, Man, and Cybernetics: Systems', 'mag_field_of_study': ['Computer Science']}