Enhetsmatchning är ett viktigt och svårt steg för att integrera webbdata. För att minska den typiskt höga genomförandetiden för matchning undersöker vi hur vi kan utföra enhetsmatchning parallellt på en distribuerad infrastruktur. Vi föreslår olika strategier för att partitionera indata och generera flera matchningsuppgifter som kan utföras självständigt. En av våra strategier stödjer både, blockering för att minska sökutrymmet för matchning och parallell matchning för att förbättra effektiviteten. Särskild uppmärksamhet ägnas åt antalet och storleken på datapartitioner eftersom de påverkar den övergripande kommunikationen overhead och minneskrav för individuella matchningsuppgifter. Vi har utvecklat en tjänstebaserad distribuerad infrastruktur för parallell körning av matchningsarbetsflöden. Vi utvärderar vår strategi i detalj för olika matchstrategier för att matcha verkliga produktdata från olika webbbutiker. Vi överväger också caching av ingående enheter och affinitet-baserad schemaläggning av match uppgifter.
I vår tidigare studie REF föreslog vi en allmän modell för parallell enhetsmatchning baserad på en balanserad partitionering av indata för att skapa matchningsuppgifter som kan utvärderas parallellt.
Data Partitioning for Parallel Entity Matching
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}