Dubbla upptäckter är problemet med att upptäcka olika poster i en datakälla som representerar samma verkliga enhet. Även om forskning finns i överflöd i världen av dubbletter upptäckt i relationella data, finns det fortfarande lite arbete för dubbletter i andra, mer komplexa datamodeller, såsom XML. I detta dokument presenterar vi en generaliserad ram för att upptäcka dubbletter och delar upp problemet i tre komponenter: kandidatdefinition som definierar vilka objekt som ska jämföras, dubbleringsdefinition som definierar när två dubbletter faktiskt är dubbletter och dubblering som anger hur man effektivt hittar dessa dubbletter. Med hjälp av detta ramverk föreslår vi en XML-detektionsmetod, DogmatiX, som jämför XML-element baserade inte bara på deras direkta datavärden, utan också på likheten mellan deras föräldrar, barn, struktur, etc. Vi föreslår heuristik för att avgöra vilken av dessa som ska väljas, samt en likhetsåtgärd som är särskilt inriktad på XML-datamodellen. En utvärdering av vår algoritm med hjälp av flera heuristiker validerar vår strategi. Dubbla upptäckter är problemet med att fastställa att olika representationer av enheter i en datakälla faktiskt representerar samma verkliga enhet. Det mest framträdande användningsområdet för att upptäcka dubbletter är kundrelationshantering (CRM), där flera poster från samma kund kan resultera i flera utskick till samma person, felaktig aggregation av försäljning till en viss kund, etc. Andra tillämpningsområden är bioinformatik, katalogintegration och i allmänhet alla domäner där självständigt insamlade data är integrerade. Problemet har behandlats i stor utsträckning för relationsdata som lagras i tabeller. Mer och mer av dagens uppgifter representeras dock i icke-relationell form. I synnerhet är XML allt populärare, särskilt för data som publiceras på webben och data som utbyts mellan organisationer. Konventionella metoder anpassar sig inte trivialt, så det finns tillstånd att göra digitala eller hårda kopior av hela eller delar av detta arbete för personligt eller klassrum användning beviljas utan avgift, förutsatt att kopior inte görs eller distribueras för vinst eller kommersiella fördelar, och att kopior bär detta meddelande och den fullständiga hänvisning på första sidan. För att kopiera på annat sätt, för att återpublicera, för att posta på servrar eller för att omfördela till listor, krävs tidigare specifik behörighet och/eller avgift. Behovet av metoder för att upptäcka dubbla objekt i inbäddade XML-data. XML-data är halvstrukturerade och organiserade hierarkiskt. Detta komplicerar objekt identifiering uppgift, jämfört med relationella data som är platt och vanligtvis välstrukturerad. Vi står inför två problem: definition av föremål och strukturell mångfald. Med objektdefinition avses problemet med att definiera vilka datavärden som faktiskt beskriver ett objekt, dvs. vilka värden som ska beaktas vid jämförelse av två objekt. Metoder för relationell dubblering antar att varje tuple representerar ett objekt och alla attributvärden beskriver det objektet. Tillräckligt likartade datavärden för två tuples innebär att de är dubbletter. Detta är inte fallet i XML: Det är inte klart om ett barnelement utgör en del av beskrivningen av ett element (liksom ett relationsattribut) eller om det representerar ett relaterat objekt (liksom ett samband med en annan tabell). Till exempel har ett XML-element <Artist> element <AID>, <name>, och vissa <CD> element som direkta barn, och varje <CD> bon <CDID> och <title>. Bland alla dessa inbäddade XML-element är det inte klart hur man skiljer verkliga objekt (dvs. artister och cd-skivor) från element som bara beskriver dessa objekt. I detta dokument presenterar vi ett sätt att uttryckligen ange vilka XML-element som är objekt, vilka XML-element som beskriver objekten, och vi presenterar några heuristiker för att hitta dem automatiskt. Strukturell mångfald, det andra problemet, tar upp det faktum att XML-element som beskriver samma typ av objekt inte nödvändigtvis är lika strukturerade. Dessa strukturella skillnader beror antingen på olika representationer av samma objekt (t.ex. personer kan representeras som chefer eller anställda), eller skillnader som tillåts av schemat, t.ex. mångfald av element (t.ex. personer som saknar, ett eller flera telefonnummer). Medan olika strukturer på grund av den första orsaken kan förenas genom schema matchning tekniker, är den andra orsaken i karaktären av halvstrukturerade data och besegrar konventionella dubbla detektionsmetoder för relationer. Detta dokument ger tre bidrag:
Weis och Naumann REF föreslår en XML-liknande åtgärd för ett duplikat av detektionsramverk.
DogmatiX tracks down duplicates in XML
{'venue': "SIGMOD '05", 'journal': None, 'mag_field_of_study': ['Computer Science']}