Problemet med att identifiera ungefär dubbla register i databaser är ett viktigt steg för datarening och dataintegrationsprocesser. De flesta befintliga metoder har förlitat sig på allmänna eller manuellt inställda avståndsmått för att uppskatta likheten mellan potentiella dubbletter. I detta dokument lägger vi fram en ram för att förbättra dubbleringen av detektion med hjälp av utbildningsbara mått på textlikhet. Vi föreslår att man använder läsbara textavståndsfunktioner för varje databasfält och visar att sådana åtgärder kan anpassas till den specifika likhetsbegreppet som är lämpligt för områdets domän. Vi presenterar två lärbara textliknande åtgärder som lämpar sig för denna uppgift: en utökad variant av inlärningsbart strängredigeringsavstånd, och ett nytt vektor-rymdbaserat mått som använder en Support Vector Machine (SVM) för träning. Experimentella resultat på en rad dataset visar att vårt ramverk kan förbättra dubblettdetektion noggrannhet över traditionella tekniker.
Mikhail Bilenko et al föreslog en struktur för att förbättra dubbleringen av registreringar med hjälp av utbildningsbara mått på textlikhet. Hoppa över det.
Adaptive duplicate detection using learnable string similarity measures
{'venue': "KDD '03", 'journal': None, 'mag_field_of_study': ['Computer Science']}