Begränsningsbaserade regler gruvarbetare hitta alla regler i en given datauppsättning uppfyller användardefinierade begränsningar såsom minimalt stöd och förtroende. Vi beskriver en ny algoritm som direkt utnyttjar alla användardefinierade begränsningar, inklusive minimalt stöd, minsta förtroende, och en ny begränsning som säkerställer varje minerad regel ger en prediktiv fördel jämfört med någon av dess förenklingar. Vår algoritm bibehåller effektiviteten även vid låg support på data som är tät (t.ex. Relationsdata). Tidigare metoder som Apriori och dess varianter utnyttjar endast den minsta stöd begränsningen, och som ett resultat är ineffektiva på täta data på grund av en kombinatorisk explosion av "vanliga objekt". Gruvregler från data är ett problem som har väckt stort intresse eftersom en regel ger en kortfattad förklaring av potentiellt användbar information som är lätt att förstå för slutanvändarna. I databaslitteraturen har fokus legat på att utveckla föreningsregel [1] algoritmer som identifierar alla konjunktiva regler som uppfyller användardefinierade begränsningar såsom minimalt stöd (ett uttalande om allmängiltighet) och minsta förtroende (ett uttalande om prediktiv förmåga). Dessa algoritmer utvecklades ursprungligen för att ta itu med datamängder främst från domänen marknadsbasket analys, även om det nyligen har funnits intresse av att tillämpa dessa algoritmer på andra områden, inklusive telekommunikationsdata analys [14], folkräkning data analys [6], och klassificering och prediktiva modellering uppgifter i allmänhet. Till skillnad från uppgifter från marknadsbasketanalys tenderar dessa datauppsättningar att vara täta eftersom de har någon eller alla av följande egenskaper: 1 • många ofta förekommande poster (t.ex. sex=man); • starka korrelationer mellan flera objekt; • många poster i varje post. Dessa datauppsättningar kan orsaka en exponentiell uppblåsning i resursförbrukningen av standard förening regel gruvalgoritmer inklusive Apriori [2] och dess många varianter. Den kombinatoriska explosionen är ett resultat av det faktum att dessa algoritmer effektivt bryter alla regler som uppfyller endast den minsta stödrestriktionen, vars antal är orimligt. Även om andra regelbegränsningar är specifierbara, tillämpas de vanligtvis endast under ett filtersteg efter bearbetningen. Vår strategi för gruvbrytning på täta datauppsättningar är att i stället direkt tillämpa alla användardefinierade regelbegränsningar under gruvbrytningen. Till exempel, de flesta förening regel gruvarbetare gör det möjligt för användare att fastställa ett minimum av prediktiv förmåga för någon minerad regel anges antingen som ett minimum förtroende [1] eller en alternativ åtgärd såsom lyft [5, 8] (även känd som intresse [6] ) eller övertygelse [6]. Vår algoritm kan utnyttja sådana minimivärden på prediktiv förmåga under gruvdrift för kraftigt förbättrad effektivitet. Även givet starka minimikrav på stöd och prediktiv förmåga, de regler som uppfyller dessa begränsningar i en tät datauppsättning är ofta alltför många för att brytas effektivt eller förstås av slutanvändaren. För att lösa detta problem utnyttjar vår algoritm en annan begränsning som eliminerar regler som är ointressanta eftersom de innehåller villkor som inte (starkt) bidrar till regelns prediktiva förmåga. För att illustrera detta användbara koncept bör man först ta hänsyn till regeln nedan: Denna regel har ett förtroende på 80 procent, vilket säger att 80 procent av de personer som köper bröd och smör också köper varan i följd av regeln, dvs. mjölk. På grund av dess höga förtroende, kan man vara benägen att tro att denna regel är ett intressant fynd om målet är att, låt oss säga, förstå befolkningen av troliga mjölk köpare för att göra bättre strumpor och diskontering beslut. Men om 85 procent av den undersökta befolkningen köper mjölk, är denna regel faktiskt ganska ointressant för detta ändamål, eftersom den kännetecknar en befolkning som är ännu mindre benägna att köpa mjölk än genomsnittsshopparen. Denna punkt har motiverat ytterligare åtgärder för att identifiera intressanta regler, bland annat hissning och fällande dom. Både lyft och övertygelse representerar den prediktiva fördelen en regel erbjuder framför helt enkelt gissning baserat på frekvensen av den efterföljande. Men båda åtgärderna uppvisar fortfarande ett annat nära relaterat problem som illustreras av nästa regel. Mjölk (Konfidens = 95%) Eftersom förtroendet för denna regel (95%) är betydligt högre än frekvensen med vilken mjölk köps (85%), denna regel kommer att ha lyft och övertygelse värden som kan innebära för slutanvändaren att det är intressant att förstå sannolikt mjölk köpare. Men antar att enbart inköp av spannmål innebär att mjölk köps med 99 procent förtroende. Vi har då att ovanstående regel faktiskt representerar 1 Market-basket data är ibland tät, särskilt när den innehåller information som gallras från bekvämlighetskort applikationer för gruvregler som blandar personliga attribut med föremål köpta. → Kopiering tillåten med angivande av källan.
Experiment visar att en enkel diskbaserad implementation resulterar i överdriven I/O. Dense-Miner REF tillämpar allt minimalt stöd, minsta förtroende och minsta förbättring för att begränsa sökutrymmet.
Constraint-based rule mining in large, dense databases
{'venue': 'Proceedings 15th International Conference on Data Engineering (Cat. No.99CB36337)', 'journal': 'Proceedings 15th International Conference on Data Engineering (Cat. No.99CB36337)', 'mag_field_of_study': ['Computer Science', 'Mathematics']}