I praktiska dataintegrationssystem är det vanligt att datakällorna integreras för att tillhandahålla motstridiga uppgifter om samma enhet. En stor utmaning för dataintegrationen är därför att få fram de mest fullständiga och korrekta integrerade uppgifterna från olika och ibland motstridiga källor. Vi kallar detta för en utmaning att finna sanningens problem. Vi konstaterar att vissa källor i allmänhet är mer tillförlitliga än andra, och därför är en bra modell för källkvalitet nyckeln till att lösa problemet med att finna sanningen. I detta arbete föreslår vi en probabilistisk grafisk modell som automatiskt kan härleda sanna poster och källkvalitet utan någon övervakning. I motsats till tidigare metoder utnyttjar vårt principiella tillvägagångssätt en generativ process av två typer av fel (falska positiva och falska negativa) genom att modellera två olika aspekter av källkvalitet. På så sätt är vårt också det första tillvägagångssättet som är utformat för att slå samman flervärderade attributtyper. Vår metod är skalbar, tack vare en effektiv provtagningsbaserad inferensalgoritm som kräver mycket få iterationer i praktiken och har linjär tids komplexitet, med en ännu snabbare inkrementell variant. Experiment på två verkliga datauppsättningar visar att vår nya metod överträffar befintliga toppmoderna metoder för att hitta sanningen.
En probabilistisk grafisk modell kan hittas i Zhao et.al REF, där författarna föreslog en oövervakad Bayesian metod som drar nytta av genereringsprocessen av falska positiva och falska negativa för att härleda sanna poster och källkvalitet från olika databaser.
A Bayesian Approach to Discovering Truth from Conflicting Sources for Data Integration
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}