Bakgrund och mål Att integrera data från flera källor är ett avgörande och utmanande problem. Även om det finns många algoritmer för registrering länkning eller deduplikation, de lider av antingen stora tidsbehov eller begränsningar av antalet dataset som de kan integrera. I detta dokument rapporterar vi effektiva sekventiella och parallella algoritmer för registreringslänkning som hanterar ett antal datauppsättningar och överträffar tidigare algoritmer. Metoder Våra algoritmer använder hierarkiska klusteralgoritmer som grund. En viktig idé som vi använder är radixsortering på vissa attribut för att eliminera identiska poster innan någon ytterligare behandling. En annan ny idé är att bilda en graf som länkar liknande poster och hitta de anslutna komponenterna. Resultat Våra sekventiella och parallella algoritmer har testats på en verklig datauppsättning på 1 083 878 poster och syntetiska datauppsättningar i storlek från 50 000 till 9 000 000 poster. Vår sekventiella algoritm körs minst två gånger snabbare, för alla dataset, än den tidigare mest kända algoritmen, tvåfasalgoritmen med hjälp av snabbare beräkning av redigeringsavståndet (TPA (FCED)). De speedups som erhålls genom vår parallella algoritm är nästan linjära. Till exempel får vi en uppfart på 7,5 med 8 kärnor (som finns i en enda nod), 14,1 med 16 kärnor (som finns i två noder) och 26,4 med 32 kärnor (som finns i fyra noder). Slutsatser Vi har jämfört prestandan hos vår sekventiella algoritm med TPA (FCED) och funnit att vår algoritm överträffar den tidigare. Noggrannheten är densamma som för denna tidigare mest kända algoritm.
Nyligen utvecklat enstaka länk hierarkisk kluster algoritmer överträffar dessa algoritmer REF.
Efficient sequential and parallel algorithms for record linkage
{'venue': 'Journal of the American Medical Informatics Association : JAMIA', 'journal': 'Journal of the American Medical Informatics Association : JAMIA', 'mag_field_of_study': ['Computer Science', 'Medicine']}