Den mängd information som produceras i världen ökar med 30 procent varje år och denna siffra kommer bara att öka. Med avancerad nätverksteknik finns fler och fler källor tillgängliga antingen via Internet eller i företags intranät. Moderna datahanteringstillämpningar, såsom att inrätta webbportaler, hantera företagsdata, hantera gemenskapsdata och dela vetenskapliga data, kräver ofta att man integrerar tillgängliga datakällor och tillhandahåller ett enhetligt gränssnitt för användare att få tillgång till data från olika källor. Sådana krav har drivit fruktbärande forskning om dataintegration under de senaste två decennierna [11, 13]. System för dataintegration står inför två veck av utmaningar. För det första är data från olika källor ofta heterogena. Heterogenitet kan finnas på schemanivå, där olika datakällor ofta beskriver samma domän med hjälp av olika scheman; det kan också existera på instansnivå, där olika källor kan representera samma verkliga enhet på olika sätt. Det har varit ett rikt arbete med att lösa heterogenitet i data, bland annat på schemanivå, kartläggning av schema och matchning [14] För det andra kan olika källor ge motstridiga data. Konflikter kan uppstå på grund av ofullständiga uppgifter, felaktiga uppgifter och föråldrade uppgifter. Att returnera felaktiga uppgifter i ett frågeresultat kan vara vilseledande och till och med skadligt: man kan kontakta en person med ett föråldrat telefonnummer, besöka en klinik på fel adress och till och med fatta dåliga affärsbeslut. Det är därför viktigt för dataintegrationssystemen att lösa konflikter från olika källor och identifiera sanna värden. Detta problem blir särskilt framträdande med lättheten att publicera och sprida falsk information på webben. Denna handledning fokuserar på datafusion, som tar itu med den andra utmaningen genom att samla poster på samma verkliga enhet i en enda post och lösa eventuella konflikter från olika datakällor. Datafusion spelar en viktig behörighet att utan avgift kopiera hela eller delar av detta material, förutsatt att kopiorna inte görs eller distribueras för direkt kommersiell fördel, VLDB copyright meddelande och titeln på publikationen och dess datum visas, och meddelande ges att kopiering är med tillstånd av Very Large Data Base Endowment. För att kopiera på annat sätt, eller för att återpublicera, för att posta på servrar eller för att omfördela till listor, krävs en avgift och/eller ett särskilt tillstånd från förlaget, ACM. VLDB '09, augusti 24-28, 2009, Lyon, Frankrike Copyright 2009 VLDB Endowment, ACM 000-0-0000-00-0/00/00. roll i dataintegrationssystem: den upptäcker och tar bort smutsiga data och ökar de integrerade uppgifternas korrekthet. Huvudsyftet med handledningen är att samla modeller, tekniker och system inom det breda men ännu icke-konsoliderade området för datafusion och presentera dem på ett koncist och konsoliderat sätt. I handledningen ger vi en översikt över orsakerna till och utmaningarna med datafusion. Vi täcker en bred uppsättning av både enkla och avancerade tekniker för att lösa datakonflikter i olika typer av inställningar och system. Slutligen tillhandahåller vi en klassificering av befintliga informationshanteringssystem med avseende på deras förmåga att utföra datafusion. Handledningen bygger på en färsk undersökning om datafusion [3] och olika tekniker som föreslås för sanningsupptäckt, inklusive, men inte begränsat till, [2, 5, 6, 16, 18]. Vår handledning börjar med en översikt över betydelsen av datafusion i dataintegrationen och möjliga orsaker till datakonflikter. Vi presenterar sedan en klassificering av befintliga datafusionstekniker och inför relationsoperationer för konfliktlösning. Därefter beskriver vi flera avancerade tekniker för att hitta de bästa (sanna) värdena i närvaro av datakonflikter. Vi avslutar vår handledning med att kartlägga datafusionstekniker i befintliga dataintegrationssystem och föreslå framtida forskningsriktningar. Dataintegrationen har tre breda mål: att öka uppgifternas fullständighet, koncishet och korrekthet. Fullständighet mäter mängden data, både när det gäller antalet tuples och antalet attribut. Koncisitet mäter objektets unika representationer i den integrerade datan, både vad gäller antalet unika objekt och antalet unika attribut för objekten. Slutligen mäter korrektheten uppgifternas riktighet, dvs. om uppgifterna överensstämmer med verkligheten. Datafusion, som är fokus för denna handledning, syftar till att lösa konflikter från data och öka korrektheten av data. Vi skiljer mellan två typer av datakonflikter: osäkerhet och motsägelse. Osäkerhet är en konflikt mellan ett nonnullvärde och ett eller flera nollvärden som alla används för att beskriva samma egenskap hos en verklig enhet. Osäkerhet orsakas av saknade uppgifter, t.ex. nollvärden i en källa eller helt saknade attribut i en källa. Kontradiktion är en konflikt mellan två eller flera olika icke-nullvärden som alla används för att beskriva samma egenskap hos samma enhet. Kontradiktionen orsakas av olika
Datafusion är ett nytt fält och studerar hur man kan slå samman länkade poster och lösa konflikter (undersökt i REF ).
Data fusion - Resolving Data Conflicts for Integration
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}