Ett grundläggande problem vid datafusion är att fastställa tillförlitligheten hos data från flera källor för att lösa konflikter. Även om tidigare arbete med sanningsupptäckt har visat sig vara användbart i praktiken för specifika inställningar, källors beteende eller datauppsättningsegenskaper, har det gjorts en begränsad systematisk jämförelse av de konkurrerande metoderna när det gäller effektivitet, användbarhet och repeterbarhet. Vi åtgärdar detta underskott genom att tillhandahålla en omfattande översyn av 12 toppmoderna algoritmer för sanningsupptäckt. Vi tillhandahåller referensimplementeringar och en fördjupad utvärdering av de metoder som bygger på omfattande experiment på syntetiska och verkliga data. Vi analyserar aspekter av problemet som inte uttryckligen har studerats tidigare, såsom effekterna av initiering och parameterinställning, konvergens och skalbarhet. Vi tillhandahåller ett experimentellt ramverk för att i stor utsträckning jämföra metoderna i ett brett spektrum av scenarier för sanningsupptäckt där källtäckning, antal och fördelning av konflikter, och verkliga positiva påståenden kan kontrolleras och användas för att utvärdera algoritmernas kvalitet och prestanda. Slutligen rapporterar vi omfattande resultat från experimenten och ger nya insikter för framtida forskning. I takt med att användargenererat innehåll växer exponentiellt ökar beroendet av webbdata oundvikligen inom varje applikationsdomän. Data kan dock vara partiska, bullriga, föråldrade, felaktiga och därmed vilseledande och opålitliga. Massiva data från flera källor förstärker svårigheten att fastställa informationens riktighet. Problemet med sanningsupptäckt är intellektuellt och tekniskt intressant nog att ha lockat många tidigare studier, från artificiell intelligens och databassamhällen, ibland undersökt under namnen faktakontroll [9], information trovärdighet [13], information bekräftande [8], data fusion [14, 10], motstridiga data integration [5], eller kunskapsfusion [7]. Problem med att upptäcka sanningen kan formuleras på följande sätt. Med tanke på en rad påståenden som hävdats av flera källor, markera varje påstådd värde som sant eller falskt och beräkna tillförlitligheten hos varje källa. En stor del av arbetet sträcker sig sanningsupptäckt modeller genom att införliva tidigare kunskap antingen om de påstådda påståendena (t.ex.,. SIMPLELCA och GUESSLCA [13] ) eller om källans rykte via förtroendebedömning (t.ex. SourceRank [1] ). En annan viktig forskningslinje syftar till att iterativt beräkna och uppdatera tillförlitligheten hos en källa som en funktion av tron på dess påståenden, och sedan tro poäng för varje påstående som en funktion av pålitligheten hos de källor som hävdar det (t.ex., Truthfinder [17] ). I denna linje har flera probabilistiska modeller föreslagits för att införliva olika aspekter utöver källtillförlitlighet och anspråk tro, nämligen beroendet mellan källor (t.ex., DEPEN och dess förlängningar [3] ), den timliga dimensionen i att upptäcka utvecklande sanning [6], svårigheten att fastställa sanning i vissa påståenden (t.ex., COSINE, 2- och 3-ESTIMATES [8]) och förvaltningen av samlingar av enheter (t.ex. LTM [18] ) eller länkade uppgifter [9]. Det finns ett antal utmaningar i sanningsupptäckten. Den första utmaningen är teoretisk eftersom det är svårt att formalisera en metod som är tillräckligt allmän för att hantera olika datauppsättningsegenskaper och scenarier för sanningsupptäckt. Vi konstaterar att ingen av metoderna ständigt överträffar de andra när det gäller precision och en "one-fits-all"-strategi verkar inte vara möjlig att uppnå. En annan utmaning hänger samman med metodernas användbarhet. Antaganden av modeller för sanningsupptäckt och komplex parameterinställning gör det fortfarande svårt att använda nuvarande metoder och tillämpas på den stora mångfalden av information som finns tillgänglig på webben. Relaterat arbete. Tidigare jämförande studier som Li et al. [11] och [10] är baserade på verkliga datamängder och guldstandarder eftersom den fullständiga sanningen i praktiken ofta inte existerar eller är ouppnåelig. Sådana guldstandarder är prover av sanningen på marken (i allmänhet mindre än 10 % av den ursprungliga datamängdens storlek). Vi hävdar att de inte är statistiskt signifikanta för att användas på ett legitimt sätt för att utvärdera och jämföra befintliga metoder på ett systematiskt sätt. I tidigare jämförelser undersöktes inte heller viktiga algoritmiska aspekter av metoderna, såsom parameterinställningar, tids komplexitet, repeterbarhet, beräkningsproblem, skalbarhet och algoritmernas konvergens. De prövade dem inte i någon större utsträckning för ett brett spektrum av scenarier för sanningsupptäckter som systematiskt genererades med kontrollen av den fullständiga sanningsdistributionen på marken. Det experimentella ramverket och datauppsättningsgeneratorn som vi föreslår för att jämföra metoderna är nya, praktiska bidrag till fältet, så att andra kan använda och utöka dem för benchmarking, parameterinställning och inställning av befintliga och nya algoritmer för sanningsupptäckt. Offentligt tillgängliga datauppsättningar med fullständig grundsanning är notoriskt svåra att få tag på. Datauppsättningsgeneratorn kan fungera som en användbar proxy för vad-om-scenarier och reproducerbarhet, för att på ett systematiskt sätt förstå de datauppsättningsegenskaper som har betydande inverkan på algoritmernas prestanda och kvalitet. Målen för vår studie är: (1) Att ge en tydlig förklaring av varje algoritm, och tillåta jämförelse av deras egenskaper genom att använda gemensam notation, termiarXiv:1409.6428v1 [cs.DB] 23 Sep 2014 För att ge referensimplementeringar av dessa algoritmer mot vilka framtida algoritmer kan jämföras, kan nya datamängder analyseras, och på toppen av vilka algoritmer för olika problem eller tillämpningar kan byggas, och slutligen, (3) Att utföra en grundlig experimentell utvärdering av algoritmerna över en mängd olika datamängder och rapportera deras prestanda och kvalitet för ett brett spektrum av parameterinställningar. Detta dokument är uppbyggt på följande sätt: I Avsnitt 2 definierar vi problemet med sanningsupptäckt och beskriver algoritmerna i detalj. I avsnitt 3 presenterar vi vår jämförande studie baserad på syntetiska datauppsättningar som systematiskt genereras för att demonstrera algoritmernas kvalitet i olika scenarier för sanningsupptäckt. Sedan studerar vi skalbarhet, och slutligen utvärderar vi metoderna på fem verkliga datauppsättningar. I Avsnitt 4 sammanfattar vi våra resultat och avslutar dokumentet. Vi betraktar de sanningsupptäcktalgoritmer som tar, som indata, en uppsättning anspråk i form av quadruplets (claimID, sourceID, dataPunktID, värde) och sluter, som resultat, en Boolesk sanningsetikett för varje påstående. Dessutom, sanningen upptäckt algoritmer kan också returnera T s, sanningen i varje källa s och C v, förtroendet för varje värde v. Till exempel, överväga de fyra källorna i exemplet i tabell 1 a) anpassat från [5]. De ger krav på anknytning till fyra forskare såsom (c1,S1,Stonebraker:AffiliatedTo,MIT). Källa täckning (Cov) är 1 för S 1,.25 för S 2, och.75 för S 3 och S 4. Endast S 1 ger faktiskt ett korrekt värde för varje dataobjekt, från d 1 till d 4, i enlighet med marksanningen (GT). Beroende på antalet olika värden per dataobjekt (Conf) - t.ex., d 1 -d 3 har 2 olika värden - vissa algoritmer kan göra slumpmässiga gissningar eller felaktiga beslut om vissa källor kopierar påståenden från en annan källa. I tabell 1 b har källsannolikhet beräknats av algoritmerna DE-PEN och TRUTHFUNDER. Precisionen beräknas från antalet sanna positiva i (GT) också returneras av algoritmerna (.75 respektive.25). Sanningen om S 1 är.0489 för SRUTHFUNDER, medan det är.0323 för DEPEN. Tabell 1 c visar förtroendet för varje värde som beräknats av SRUTHFINDER. De värden som anses vara sanna av denna algoritm är i fetstil. Som illustreras av detta exempel, sanning upptäckt algoritmer kan ha olika precision och resultat beroende på parameter inställning och datauppsättning egenskaper. I den här artikeln studerar vi effekten av både kvalitet och prestanda av 12 algoritmer för sanningsupptäckt från litteraturen. Vi använder noterna i tabell 2. Varje sanning upptäckt algoritm presenteras i detalj med sin pseudokod där hänvisar till beräkning av värdet förtroende C v, och hänvisar till beräkning av källan sanningsförmåga, T S. Vi studerar inverkan av olika parameterinställningar på kvaliteten på varje algoritm och vi analyserar tid komplexitet i tabell 3. Vi gjorde flera val för konsekvens och rättvisa i vår studie. Först initierade vi källsanning T S till.8 för alla algoritmer eftersom det maximerar precisionen hos de flesta algoritmer. För det andra använder vi bokdatasetet för denna preliminära parameteriseringsstudie. Bokdatamängden har formaterats i olika versioner så att alla algoritmer kan jämföras från samma datamängd. För det tredje använder vi samma konvergenstest för alla algoritmer: skillnaden i källsanningsförmåga kosinuslikhet mellan två på varandra följande iterationer ska vara mindre än eller lika med ett visst tröskelvärde, δ, som vi kommer att beskriva i detta avsnitt. Vi kommer att diskutera dessa val i slutet av avsnittet och avsluta med denna första uppsättning experiment som ägnas åt parameterinställning. På grund av rymdbegränsningen var vi tvungna att begränsa presentationen av våra resultat, men vi inbjuder läsaren att komma åt hela uppsättningen av de experimentella resultaten och koderna i [2]. Algoritm. SANNINGEN förlitar sig på ärligheten hos källorna och följer de heuristiker som en källa som ger mestadels sanna anspråk för många dataobjekt kommer sannolikt att ge verkliga anspråk för andra objekt. I Algoritm 2.1 är sannolikheten för att ett värde är fel (1 - T s ). Således, om värdet tillhandahålls av många källor, då dess sannolikhet för att vara fel är s pås v (1 - T s ). Efter denna allmänna idé är källans sanningsvärdighet i SRUTHFINDER T s = v.V.S.C.V.V.S. in och konfidenspoängen för ett värde är σ v.= − s.S. v ln.(1 − T.S.). Logaritm används för att undvika underflöde av sanningens värde när mängderna är små. TRUTHFINDER justerar konfidenspoängen för ett påstående så att det införlivar det inflytande (eller stöd) som liknande påståenden kan ha ömsesidigt på varandra som (v, v ). Till exempel, för ett dataobjekt med flera värden, kommer en källa som tillhandahåller värdena (AuthorA,AuthorB) för en bok att stödja en annan källa som tillhandahåller värdena (AuthorA,AuthorB,AuthorC) för samma bok (men inte omvänt). Vikten av ett sådant stöd mellan värdena styrs av parametern ρ  på [0, 1]. Det slutliga förtroendet för en fordran beräknas sedan med en logistisk funktion för att vara positivt. Fuktfaktorn γ kompenserar effekten när källor med liknande värden faktiskt är beroende. Eftersom TRUTHFINDER beräknar likheten mellan värden, kan den påverkas dramatiskt av antalet olika värden att jämföra vilket förklarar relativt lägre prestanda när antalet konflikter är högt. Slutligen använder SRUTHFINDER skillnaden i källsanningsmässighet kosinuslikhet mellan två på varandra följande iterationer som är mindre än eller lika med ett visst tröskelvärde, δ. Värdet med den högsta konfidensgraden väljs sedan som det verkliga värdet bland de andra (falska) värdena för ett givet dataobjekt. Parameterinställning. TRUTHFINDER har tre olika parametrar som ska ställas in: ρ, γ, och T S. Vi varierar varje parameter värde samtidigt som de andra parametrarnas värden som rapporteras i nästa tabell. Variabler Precision ρ =.5, T S =.8 γ från.2 till.8 Ingen signifikant förändring ρ =.5, γ =.1 T S från 0 till.99 Ingen signifikant förändring γ =.1, T S =.8 ρ från.2 till.8 Max (.9777) för ρ =.5 Vi varierar δ, konvergenströskeln från 001 till 1E‐5 utan någon ändring i precision men ökning av verkställighetstiden från 435 ms till 526 ms ( på +21%) för bokdatamängden. Slutligen använder vi δ =.001 och de värden som maximerar precisionen för bokdatamängden: ρ =.5, γ =.1 och T S =.8 (noteras i tabellen). Tre algoritmer har föreslagits 2010 av Galland et al. I [8], nämligen COSINE, 2-ESTIMATES och 3-ESTIMATES. COSINE i Algoritm 2.2 börjar med att initiera förtroendet för varje värde och sanningen hos varje källa. Sedan beräknar den iterativt källsanningsförmåga som en linjär funktion av den sanningsvärdighet som uppnåddes i den tidigare iterationen. För varje påstådd värde, värdeförtroendet beräknas som en funktion av den nuvarande sanningen poäng av de källor som hävdar detta värde minus sanningens poäng av oense källor i. 2-ESTIMATES i algoritm 2.3 är en probabilistisk modell för att uppskatta källsanning och värdeförtroende. Liksom i CO-SINE, tar 2-ESTIMATES hänsyn till avvikande källor för varje dataobjekt medan du beräknar värdet förtroende. Den börjar med att initiera källsanning och beräknar iterativt värdet förtroende i som en funktion av både enas och oense källor som hävdar olika värden. Därefter beräknar den källsanningbarheten som en funktion av förtroendet för alla värden för alla dataobjekt som tillhandahålls av källan. Slutligen normaliseras både värdeförtroende och källsanning efter varje iteration med Normalisera funktion. 3-ESTIMATES i Algoritm 2.4 använder en tredje parameter bredvid T S och C v : värdet felfaktor, v. Därefter, för varje värde, algoritmen beräknar värdet förtroende i som en funktion av värdet felfaktorn och sanningen hos varje källa som ger värdet, samt sanningen hos de källor som hävdar andra värden. Konfidensen normaliseras och används för att beräkna en ny felfaktor per värde som också normaliseras. Slutligen beräknas och normaliseras källsanningen som en funktion av värdeförtroendet och felfaktorn. Som författarna nämnde är normaliseringsfunktionen kritisk för att dessa algoritmer ska nå konvergens till en icke-lokal optima, men inställningen av λ dokumenteras inte i den ursprungliga tidningen. Dessutom använde författarna en fixpunktsberäkning för att testa konvergens. Eftersom de inte rekommenderade det för att vara kostsamt och inte garantera konvergensen i Algoritm 2.5: LTM (S, D, V, K, burnin, tunn, α, β) S v : n s,tv,ov ← n s,tv,ov + 1  tills. Sv : n s,tv,ov ← n s,tv,ov + 1 Provtagning: vissa fall använde vi samma konvergenstest som TRUTHFINDER med δ =.001. Parameterinställning. Information bekräfta algoritmer inkluderar fyra parametrar som ska initieras: T s, η för COSINE, λ och v. Vi initierar T s =.8. För COSINE ställer vi in η till 0,2 eftersom det maximerar precisionen. I vår parameteriseringsanalys på bokdatasetet ställdes vi inför instabila resultat för 3-ESTIMATES från en utförande till en annan vilket gav olika resultat för precision, noggrannhet och återkallande för vissa värden av λ. Som visas i tabellen, baserat på 100 körningar med λ =.8, 95% konfidensintervall av precision varierar från.9214 till.9587. Slutligen väljer vi T S =.8, η =.2 för COSINE, λ =.5 och v =.4 för 3-ESTIMATES. Latent Truth Model (LTM) föreslogs 2012 av Zhao et al. [18] använder bayesiska nätverk för att uppskatta sanningen. LTM har två viktiga antaganden om formatet på de datamängder som den kan hantera: (1) Datamängden ska endast innehålla ett attribut med atomvärden och (2) LTM kan hantera flera sanna värden för samma dataobjekt. Till exempel, när det gäller bokdatamängden där en lista över författare som tillhandahålls av en källa är (AuthorA,AuthorB), LTM tar faktiskt som indata två påståenden från s, var och en har ett atomvärde som kan vara sant såsom: (c1,s,ThisBook:AuthorOf,AuthorA) och (c2,s,ThisBook:AuthorOf,AuthorB). LTM anser, för varje källa, dess tidigare sannolikhet för verkliga positiva och negativa fel, noterade (α 1,1, α 1,0 ) som källkänslighet, liksom dess tidigare sannolikhet för falska positiva och negativa fel, noterade (α 0,1, α 0,0 ) som källspecifikitet. Slutligen anses värden med högre konfidensgrad än.5 vara sanna, vilket innebär att LTM inte kan upptäcka något verkligt värde för vissa dataobjekt. Algoritm. I Algoritm 2.5, LTM upprätthåller fyra räknare för varje källa, noterade n s,tv,ov, där t v är Booleska sanningsetikett för varje värde v, och o v är om värdet v faktiskt hävdas av källan eller inte. LTM initierar först etiketten på varje påstående slumpmässigt och uppdaterar räknarna för varje källa. I varje iteration provar LTM varje sanningsetikett från sin distribution betingad på alla andra sanningsetiketter, och källräknare uppdateras i enlighet därmed. LTM använder en kollapsad Gibbs provtagningsprocess med K, antalet iterationer som krävs för att definiera provstorleken som (K – burnin)/tunn. Därefter uppdaterar LTM värdena sannolikheten för sanning genom att kasta den första uppsättningen prover (brännparameter) och för varje n prover i återstoden (tunn), LTM beräknar genomsnittet för att förhindra korrelation mellan angränsande prover. Eftersom LTM bygger på den slumpmässiga initieringen av sanningsetiketterna, liksom på slumpmässig provtagning, kan vi inte rapportera precisionen i en enda körning. I det ursprungliga papperet rapporterades genomsnittlig precision över 10 körningar. I vårt experiment rapporterade vi den genomsnittliga precisionen över 100 körningar eftersom vi observerade fluktuerande resultat med breda standardavvikelser över 10 körningar. LTM beräknar inte källsanning som ger en fördel i fråga om utförandetid. Parameterinställning. Nio parametrar måste ställas in i LTM: (K, burnin, tunn): de kollapsade Gibbs provtagningsparametrarna, α = (α 1,1, α 1,0, α 0,1, α 0,0 ), de tidigare sanna/false positiva/negativa påståendena för källorna, och β = (β 1, β 0 ), de tidigare sanna och falska talen för dataobjektets värdepar. Vi studerar de värden som författarna föreslår för alla parametrar i bokdatauppsättningen: varierar en parameter och fixerar de andra successivt och vi observerar: (1) Inga signifikanta förändringar i precisionen för LTM, varken för (K, burnin, tunn) = (50, 10, 1), (500, 100, 9) eller (2000), 100, 9) eller för β = (.1,.1) eller (.5,.5). (2) För hög α 0,1 och α 1,0 (.7 till.9) och låg α 0,0 och α 1,1 (.1 till.3) var precisionsalgoritmen låg med hög standardavvikelse (±0,32 i genomsnitt) och minimal precision i 95 % konfidensintervall under 100 körningar. Vi beaktade inte denna parameterinställning för α på grund av för hög precisionsvariabilitet. (3) För de återstående permutationerna av α 1,1, α 1,0, α 0,1, och α 0,0, LTM når stabilitet i precision för 100 körningar med små 95% konfidensintervall (.002 i genomsnitt) enligt följande. Slutligen väljer vi (K, burnin, tunn) = (500, 100, 9), α = (.9, 1, 9,.1) och β = (.1,.1) för att få maximal precision genomsnitt över 100 körningar på boken datauppsättning. Maximal sannolikhetsskattning (MLE) föreslogs 2012 av Wang et al. I [16] baseras på algoritmen Förväntning Maximering (EM) för att kvantifiera källornas tillförlitlighet och riktigheten i deras observationer. MLE behandlar endast Booleska positiva observationer (t.ex. dataobjekt som dennaPerson-hasKids med sant eller falskt värde). Negativa observationer ignoreras. För att kunna testa MLE på bokens datauppsättning omformulerade vi varje påstående som (c1, s,ThisBook:AuthorOf,(AuthorA,AuthorB) såsom två påståenden: (c1,s,ThisBook:AuthorA,true) och (c2,s,ThisBook:AuthorB,true). Algoritm. I Algoritm 2.6 börjar MLE med att initiera källornas parametrar: a(s), sannolikheten att källan rapporterar att ett värde är sant när det verkligen är sant och b(s), sannolikheten att s rapporterar ett värde som är sant när det i verkligheten är falskt (liknar källkänsligheten α 1,1 och α 1,0 i LTM). I förväntan steg, MLE iteratively beräknar den villkorliga sannolikheten för ett värde v att vara sant baserat på dess källa sannolikheter (a(s), b(s)), och på sannolikheterna för de källor som inte ger v (en/en). Sedan beräknar det iterativt förtroendet för varje värde i. I Maximering steg, MLE uppdaterar källor sannolikheterna a(s) och b(s) i. Förväntning-Maximering steg upprepas tills konvergens av både a(s) och b(s). En viktig observation av MLE algoritm är när antalet källor tenderar att vara mycket stor, källa sannolikheter tenderar att noll och C v tenderar att 0/0. MLE kan inte användas med ett stort antal källor (> 5000). Parameterinställning. Två parametrar behövs i MLE: r och β 1 för att beräkna de initiala parametrarna för källorna, a(s) och b(s). β 1 är den totala förhandssannolikheten för påståendena (liksom LTM). r är sannolikheten att en källa ger ett värde för alla dataelement. I sitt originalpapper testas MLE på en syntetisk datamängd utan någon indikation på hur dessa parametrar ska ställas in. Så, för boken datauppsättning, varierar vi successivt r och β 1 med hjälp av ett enhetligt konstant värde för alla källor parametrar initialisering. Variabler Precision, Noggrannhet, Recall r =.5 för alla källor β 1 från.1 till.9 Alla lika med 1 för β 1 =.5 β 1 =.5 r från.1 till.9 Alla lika med 1 för r =.5 Slutligen väljer vi β 1 =.5 och r =.5 jämnt konstant för alla källor för att få precision, noggrannhet och recall lika med 1. [5] och ytterligare utvidgas i [6, 4] är den första Bayesianska sanningsdetekteringsmodell som tar hänsyn till kopieringsförhållandena mellan källor. DE-PEN bestraffar rösträkningen av en källa om källan upptäcks vara en kopiator av en annan källa. DEPEN presenteras med 4 förlängningar i sitt ursprungliga papper [5]. Vår studie fokuserar på DEPEN, ACCU, ACCUSIM och ACCUNODEP: ACCU utökar DEPEN modellen och slappnar av antagandet att källorna har samma noggrannhet och för varje dataobjekt, alla oberoende källor har inte längre samma sannolikhet att ge ett verkligt värde. ACCUSIM utökar ACCU för att ta hänsyn till värdelikhet, och ACCUNODEP antar att alla källor är oberoende. Algoritm. Algoritm 2.7 presenterar DEPEN och börjar med att initiera alla källors sanningsförmåga till.8. För varje dataobjekt, det väljer det sanna värdet genom majoritetsomröstning, och beräknar beroendet mellan källor med CompDepen (s i, s j, α, n) funktion där α är den a priori sannolikhet att s i och s j är beroende, och n är antalet falska värden per dataobjekt. Till iterativt beräkna värdet förtroende för, De källor som hävdar det aktuella värdet först beställs av deras beroende sannolikheter med orderByDepen (S v ) funktion. Sedan beräknas varje källas röstLand på ett sätt som minimerar rösten om källan är beroende av andra källor i Pre, listan över rangordnade källor, som t.ex. röstLand= s j  på Pre (1 − c.depen(s j )), med c sannolikheten för att ett värde som tillhandahålls av en kopiator kopieras. voiceCount viktas sedan av t poäng, källans poäng för att beräkna värdet förtroende. Källans sanningsförmåga beräknas iterativt som en funktion av förtroendet för alla värden som källorna hävdar. Verkliga värden förväntas vara de värden som har det högsta självförtroendet. I ACCUNODEP behövs ingen beroendeberäkning, och voiceCount är alltid 1. I ACCU och ACCUSIM beräknar algoritmen värdet förtroende med t score = ln(nT s /(1 - T s )), medan i DEPEN, t score = 1. I ACCUSIM, värdet likhet beaktas för konfidensberäkningen i varje iteration och, ρ v  och V d C v.sim( v, v) läggs till C v (liknar TRUTHFUNDER). Det är värt att notera att DEPEN modell och dess förlängningar uppskattar källan röstRäkna för ett givet värde baserat på att beställa källorna genom att minska beroende sannolikhet. Denna beställning kan vara annorlunda från en körning till nästa, eftersom två källor med samma beroende sannolikheter kan visas i olika positioner. Vi observerade att denna beroendebaserade beställning introducerade små variationer av kvalitetsmåtten för 20 utföranden av modellerna med samma parameterisering på bokdatauppsättningen. I synnerhet observerar vi DEPEN-precision (.9814 ±.0002), ACCU-precision (.9741 ±.0061) och ACCUSIM-precision (.9413 ±.0051). För att lindra detta problem bestämde vi oss för att använda den lexical beställningen snarare än beroende sannolikhetsbaserad beställning av källorna. Detta förbättrar visuellt kvaliteten på modellerna med +.02 (DEPEN LEX precision.9814, ACCU LEX precision.9809, och ACCUSIM LEX precision 0.973) för boken datauppsättning och det förbättrar också stabiliteten i de resultat som förblir konstant från en körning till en annan. Parameterinställning. Fixing ρ =.5 och n = 100, studerar vi olika parametrisering inställning rapporteras i tabellen. Slutligen väljer vi α =.2, T S =.8, c =.8 för DEPEN och ACCUNODEP och c =.1 för ACCU och c =.05 för ACCUSIM.
Waguih m.fl. REF påpekar att den glesa grundsanningen inte är statistiskt signifikansen att på ett legitimt sätt utnyttja för att utvärdera och jämföra metoder.
Truth Discovery Algorithms: An Experimental Evaluation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}