Vi anser att problemet med att hitta starkt korrelerade par i en stor datauppsättning. Det är, med tanke på en tröskel inte för liten, vi vill rapportera alla par av poster (eller binära attribut) vars (Pearson) korrelationskoefficienter är större än tröskeln. Korrelationsanalys är ett viktigt steg i många statistiska och kunskapsbaserade uppgifter. Normalt är antalet starkt korrelerade par ganska litet jämfört med det totala antalet par. Att identifiera starkt korrelerade par på ett naivt sätt genom att beräkna korrelationskoefficienterna för alla par är slöseri. Med massiva datamängder, där det totala antalet par kan överstiga huvudminneskapaciteten, är beräkningskostnaden för den naiva metoden oöverkomlig. I deras KDD'04 papper [15], Hui Xiong et al. ta itu med detta problem genom att föreslå TAFER-algoritmen. Algoritmen går igenom datamängden i två pass. Det använder det första passet för att generera en uppsättning kandidatpar vars korrelationskoefficienter sedan beräknas direkt i det andra passet. Effektiviteten hos algoritmen beror i hög grad på selektiviteten (beskärningskraften) hos dess kandidatgenererande stadium. I detta arbete antar vi den allmänna ramen för TA-PER-algoritmen men föreslår en annan metod för kandidatgeneration. För ett par poster tar TAPER:s metod för kandidatgenerering endast hänsyn till enskilda posters frekvenser (stöd). Vår metod tar också hänsyn till frekvensen (stödet) av paret men inte uttryckligen räkna denna frekvens (stöd). Vi ger en enkel randomiserad algoritm vars falskt negativa sannolikhet är försumbar. Utrymmet och tid komplexiteten av att generera kandidaten som anges i vår algoritm är asymptotiskt samma som TAPER: s. Vi utför experiment på syntetiserade och verkliga data. Resultaten visar * Stödd av NSF bidrag 0331640. † Stöds delvis av HSARPA-bidrag ARO-1756303, ONR-bidrag N00014-01-1-0795 och N00014-04-1-0725 samt NSF-bidrag 0331548, 0428422, och 0534052. Tillstånd att göra digitala eller papperskopior av hela eller delar av detta arbete för personligt bruk eller klassrum beviljas utan avgift, förutsatt att kopiorna inte görs eller distribueras för vinst eller kommersiella fördelar och att kopiorna är försedda med detta meddelande och den fullständiga hänvisningen på första sidan. För att kopiera på annat sätt, för att återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. att vår algoritm producerar en kraftigt reducerad kandidat set-one som kan vara flera storleksordningar mindre än den som genereras av TAPER. På grund av detta använder vår algoritm mycket mindre minne och kan vara snabbare. Det förstnämnda är avgörande för hanteringen av massiva data.
Nyligen antar Zhang och Feigenbaum REF också korrelationskoefficienten för att mäta korrelerade par i transaktionsdatabaser.
Finding highly correlated pairs efficiently with powerful pruning
{'venue': "CIKM '06", 'journal': None, 'mag_field_of_study': ['Computer Science']}