Vi introducerar HoloClean, ett ramverk för holistisk datareparation som drivs av probabilistiska slutsatser. HoloClean förenar befintliga kvalitativa metoder för att reparera data, som bygger på integritetsbegränsningar eller externa datakällor, med kvantitativa metoder för att reparera data, som utnyttjar de statistiska egenskaperna hos dataunderlaget. Med tanke på en inkonsekvent datauppsättning som indata genererar HoloClean automatiskt ett probabilistiskt program som utför datareparationer. Inspirerad av de senaste teoretiska framstegen inom probabilistisk inferens introducerar vi en rad optimeringar som säkerställer att slutledning över HoloCleans probabilistiska modellskalor till exempel med miljontals tuples. Vi visar att HoloClean skalor till exempel med miljontals tuples och hitta datareparationer med en genomsnittlig precision på 90 % och en genomsnittlig recall på över 76 % i en mängd olika datauppsättningar som uppvisar olika typer av fel. Detta ger en genomsnittlig F1 förbättring på mer än 2× mot state-of-the-art metoder.
HoloClean genererar en probabilistisk modell över en datauppsättning som kombinerar integritetsbegränsningar och externa datakällor för att generera data reparationsförslag REF.
HoloClean: Holistic Data Repairs with Probabilistic Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}