Smutsiga uppgifter är ett allvarligt problem för företag som leder till felaktigt beslutsfattande, ineffektiv daglig verksamhet och i slutändan slöseri med både tid och pengar. Smutsiga uppgifter uppstår ofta när domänbegränsningar och affärsregler, avsedda att bevara uppgifternas enhetlighet och exakthet, tillämpas ofullständigt eller inte alls i tillämpningskoden. I detta arbete föreslår vi ett nytt datadrivet verktyg som kan användas inom en organisations process för datakvalitetshantering för att föreslå möjliga regler, och för att identifiera konforma och icke-konforma poster. Datakvalitetsregler är kända för att vara kontextuella, så vi fokuserar på upptäckten av kontextberoende regler. Specifikt söker vi efter villkorliga funktionella beroenden (CFD), det vill säga funktionella beroenden som endast håller över en del av data. Utgången av vårt verktyg är en uppsättning funktionella beroenden tillsammans med det sammanhang i vilket de håller (t.ex. en regel som anger för CS trainee kurser, kursnummer och term funktionellt bestämmer rummet och instruktör). Eftersom indata till vårt verktyg sannolikt kommer att vara en smutsig databas, vi söker också efter CFDs som nästan håller. Vi returnerar dessa regler tillsammans med de icke-konforma skivorna (eftersom dessa är potentiellt smutsiga skivor). Vi presenterar effektiva algoritmer för att upptäcka CFDs och smutsiga värden i en datainstans. Vår upptäcktalgoritm söker efter minimala CFDs bland datavärden och plommon redundanta kandidater. Inga allmänna objektiva mått på datakvalitet eller datakvalitetsregler är kända. Därför, för att undvika att returnera ett onödigt stort antal CFDs och endast de som är mest intressanta, vi utvärdera en uppsättning av intressemått och presentera jämförande resultat med hjälp av verkliga dataset. Vi presenterar också en experimentell studie som visar skalbarheten av våra tekniker.
I REF upptäcker Chiang och Miller CFDs och smutsiga värden i en datainstans.
Discovering data quality rules
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}