Den senaste tidens ökade fokusering på felaktig information har stimulerat forskning i själva verket kontroll, uppgiften att bedöma sannfärdigheten i ett påstående. Forskning om automatisering av denna uppgift har bedrivits inom en rad olika discipliner, bland annat naturlig språkbehandling, maskininlärning, kunskapsrepresentation, databaser och journalistik. Även om det har gjorts betydande framsteg har relevanta artiklar och artiklar publicerats i forskarsamhällen som ofta är omedvetna om varandra och använder inkonsekvent terminologi, vilket hindrar förståelse och ytterligare framsteg. I detta dokument kartlägger vi automatiserad faktakontroll av forskning som härrör från behandling av naturligt språk och relaterade discipliner, enande av uppgiftsformuleringar och metoder över papper och författare. Dessutom lyfter vi fram användningen av bevis som en viktig särskiljande faktor bland dem som skär över uppgiftsformuleringar och metoder. Vi avslutar med att föreslå vägar för framtida NLP-forskning om automatiserad faktakontroll. Αναγνίριση  tillευεν ισχυρισμ ανανα ρευνα αυτοματοποιημ och ααα το πρ och λημα αυτ en σιε ochγεται ε σε εινημονιλο och εειεα επεπεργαεεργαα ίυσιεονισσα och μηηηηη, αναπαρσταη γνίση, β-σει och αααααανανααανααναααναααναανανανανααναναναν ρεαιααανααναναναναναν ανααν ααναν αναναν αναναναν αναναννναν ροοοοομομαν αν αν αν ροοον αυοοοοοοοοοοοοοοοοοιιειιιιιιιιε ιε ιενν ιε ιε ιε och ιε och ιε och ιιιε ochνννννννννννν ιιιιιιιιιιιιιιιιε och ιιιιιιιιιιιιιιιιιε ochννννν ινννν ν νν  och  och νννν ν ννν ν ν ννννν ν ν ν ν  och  och ν ν  och ν ν ν  och ν ν ν ν ν ν  och ν ν ν ν ν ν ν ν ν ν  och  och ν ν  och νν ν ν ν ν  αν ει ει γίνει σημαντιείμενο σημοσιείοτα ίτα στα συνίσρια τα περιοσιεενο ρο ρορλογία, μεου εαι ρησι-μοποοοοορετιρολογία, με εονπεια εροεεεα, με εινα ερηεεραραεεεεεραρανεται περεεεαι περαιειιοοραιραιρεοίοεααα. Om så är fallet, ska det vara möjligt att använda de metoder som anges i bilaga I till förordning (EG) nr 847/96 för att fastställa om det är lämpligt att använda de metoder som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 för att fastställa de gränsvärden som anges i bilaga II till förordning (EG) nr 847/96 och bilaga III till förordning (EG) nr 847/96. ρια βαασιριριση που που λιαχ en αναγει με σατευ och γιααλοντιρεαγει μεατην επεν επεργασία ίυσιρελλοντιρλλλοντιρεα επτην επεν επεργαργα ίυσιε γλ och εετιεετο πρςβλημα αυτ. Förmågan att snabbt sprida information på internet innebär en stor möjlighet för individer och organisationer att sprida och konsumera stora mängder data om nästan alla ämnen. Eftersom många av de hinder som krävs för att publicera information effektivt avlägsnas genom tillkomsten av sociala medier, är det möjligt för innehåll som skrivs av någon individ eller organisation att nå en publik på hundratals miljoner läsare (Allcott och Gentzkow, 2017). Denna förbättrade förmåga att nå publik Detta arbete är licensierat under en Creative Commons Atttribution 4.0 International License. Uppgifter om licensen: http://creativecommons.org/licenses/by/4.0/ kan användas för att sprida både sann och falsk information, och har blivit en viktig fråga eftersom det spekuleras att detta har påverkat beslut som offentliga omröstningar, särskilt eftersom färska studier har visat att falsk information nådde större publik (Vosoughi et al., 2018). Följaktligen har det funnits en ökad efterfrågan på faktakontroll av innehåll online. När det gäller journalistik är faktakontroll uppgiften att bedöma om påståenden som gjorts på skriftligt eller talligt språk är sanna. Detta är en uppgift som normalt utförs av utbildade yrkesutövare: faktakontrollanten måste utvärdera tidigare tal, debatter, lagstiftning och publicerade siffror eller kända fakta, och använda dessa, i kombination med resonemang för att nå en dom. Beroende på komplexiteten i påståendet, kan denna process ta från mindre än en timme till ett par dagar (Hassan et al., 2015a). På grund av den stora mängd innehåll som ska kontrolleras har denna process varit föremål för samtal från journalistvärlden för att utveckla verktyg för att automatisera delar av denna uppgift Babakar och Moy, 2016; Graves, 2018). Processen för faktakontroll kräver forskning och identifiering av bevis, förståelse för sammanhanget av information och resonemang om vad som kan härledas från dessa bevis. Målet med automatisk faktakontroll är att minska den mänskliga bördan vid bedömningen av ett påståendes riktighet. I detta dokument kartlägger vi automatiserade faktakontroller från perspektivet av naturlig språkbehandling (NLP) och relaterade områden som maskininlärning, kunskapsrepresentation, databaser och analys av sociala medier. Även om det är viktigt att ta hänsyn till sociala aspekter, bland annat hur faktakontroll kommuniceras och införlivas i plattformar för sociala medier, anses dessa utanför ramen för denna undersökning. Det finns ett stort antal relaterade arbeten med olika motiv och tillvägagångssätt som vi kan lära oss av att utveckla teknik för naturligt språk för faktakontroll. Eftersom dessa genomförs på ett solomässigt sätt och ofta utan större medvetenhet om frågan, finns det dock inkonsekvens i definitionerna och bristen på kommunikation mellan discipliner, vilket hindrar förståelse och ytterligare framsteg. Till exempel, klassificeringen av huruvida en artikel titel kan stödjas av innehåll i kroppen har utbytbart kallats både falska nyheter upptäckt (Pomerleau och Rao, 2017), position klassificering (Ferreira och Vlachos, 2016) och inkongruent rubrik upptäckt (Chesney et al., 2017). I den här undersökningen strävar vi efter att förena de definitioner som presenteras i relaterade arbeten och identifiera gemensamma begrepp, datauppsättningar och modelleringsmetoder. I denna process sammanfattar vi centrala resultat, belyser begränsningar och föreslår några öppna forskningsutmaningar. I synnerhet beskriver vi de olika typer av bevis som används av olika tillvägagångssätt och hur de påverkar NLP-kraven på de system som utvecklas. Till exempel är många tillvägagångssätt beroende av textförståelse/naturlig språkinferens (Dagan et al., 2009), medan andra förlitar sig på kunskapsbas konstruktionsteknik (Ji och Grishman, 2011). Strukturen i denna undersökning är följande: vi diskuterar först faktakontroll i samband med journalistik eftersom detta ger definitioner och distinktioner om nyckelterminologi som kommer att användas i resten. Vi fortsätter sedan att diskutera tidigare forskning i automatiserade faktakontroll i termer av vilka indata de förväntar sig, vilka resultat de returnerar och vilka bevis som används i denna process. Därefter ger vi en översikt över de mest använda dataseten och de modeller som utvecklats och utvärderats på dem. Därefter diskuterar vi arbetet med automatiserad faktakontroll och avslutar med att föreslå vägar för framtida NLP-forskning. Faktakontroll är en viktig komponent i processen för nyhetsrapportering. Journalism har av forskare definierats som en "verifikationsdisciplin" för att skilja den från "underhållning, propaganda, fiktion eller konst" (Shapiro m.fl., 2013). Medan faktakontroll och verifiering ofta används utbytbart, har det senaste arbetet försökt att definiera dem som två distinkta men kompletterande processer (Silverman, 2016). I synnerhet, verifiering definieras som "vetenskapligt-liknande tillvägagångssätt för att få fakta och även rätt fakta" (Kovach och Rosenstiel, 2014), vilket ofta innebär att kontrollera källan, datum och placeringen av material. Faktakontroll å andra sidan "tar upp påståendets logik, samstämmighet och sammanhang" (Mantzarlis, 2015). Kontrollen är därför ett nödvändigt och avgörande första steg i processen för att kontrollera fakta, eftersom den bedömer tillförlitligheten i de berörda sammanhangen. Vi antar denna distinktion för återstoden av denna undersökning eftersom den bidrar till att belysa viktiga skillnader mellan olika automatiserade tillvägagångssätt. 1 Ett begrepp som har blivit starkt förknippat med faktakontroll är "falska nyheter", särskilt sedan dess användning i samband med 2016 års amerikanska presidentval. Men dess popularitet har resulterat i dess betydelse blir utspädd, eftersom det används för att märka påståenden på ett antal aspekter inte nödvändigtvis relaterade till sannfärdighet (Vosoughi et al., 2018). Det mest framträdande exemplet på sådan användning av termen falska nyheter är dess tillämpning på medieorganisationer av motsatta politiska sidor. Dessutom är det ofta grupperas tillsammans med termen "hattal" som i fallet med ny lagstiftning (Deutsche Welle, 2017), trots att den senare är mer relaterade till användningen av känslosamt språk i stället för sanning bedömning (Rahman, 2012). Därför undviker vi att använda denna term i denna undersökning. Ett ytterligare övervägande är förhållandet mellan faktakontroll och begreppen felaktig information och desinformation. Medan den förra är distributionen av information som kanske inte är korrekt eller fullständig, den senare dessutom antar skadliga motiv för att vilseleda läsaren (Jowett och O' Donnell, 2006). På grund av detta ytterligare övervägande betraktas desinformation som en undergrupp av desinformation. Faktakontroll kan bidra till att upptäcka felaktig information, men inte skilja den från desinformation. Den ökade efterfrågan på faktakontroll har stimulerat en snabb utveckling av verktyg och system för att automatisera uppgiften, eller delar därav (Babakar och Moy, 2016; Graves, 2018). Således har det funnits en mängd olika tillvägagångssätt som är anpassade till specifika datauppsättningar, domäner eller deluppgifter. Medan de alla har samma mål, använder dessa tillvägagångssätt olika definitioner av vad uppgiften som automatiseras är. I följande diskussion lyfter vi fram skillnaderna mellan de uppgiftsdefinitioner som använts i tidigare forskning inom följande axlar: input, d.v.s. vad som är faktakontrollerat, utmatning, d.v.s. Vilka typer av domar som förväntas och vilka bevis som används för att kontrollera fakta. Vi betraktar först indata till automatiserade faktakontroll metoder som deras format och innehåll påverkar de typer av bevis som används i denna process. En ofta övervägd input till faktakontroll metoder är subjekt predicate-objekt trippel, t.ex. (London, huvudstad i Storbritannien), och är populär i olika forskningssamfund, inklusive NLP (Nakashole och Mitchell, 2014), data mining (Ciampaglia et al., 2015) och webbsökning (Bast et al., 2015). Populariteten av tripletter som input beror på det faktum att de underlättar faktakontroll mot (semi-)strukturerade kunskapsbaser sådan Freebase (Bollacker et al., 2008). Det är dock viktigt att erkänna att metoder med hjälp av tripletter som input implicit antar en icke-trivial nivå av bearbetning för att konvertera text, tal eller andra former av anspråk till tripletter, en uppgift som omfattas av den breda definitionen av naturligt språk förståelse (Woods, 1973). En andra typ av inmatning som ofta beaktas vid automatisk kontroll av fakta är textpåståenden. Dessa tenderar att vara korta meningar konstruerade från längre passager, vilket är en praxis som är vanlig bland människor faktum kontroller på dedikerade webbplatser som PolitiFact 2 och Full Fact 3 i syfte att inkludera endast det sammanhang som är relevant för påståendet från den ursprungliga passagen. Tillgången till fakta kontrollerade påståenden på sådana webbplatser har gjort detta format mycket populärt bland forskare i NLP. En användbar taxonomi av textanspråk föreslogs i samband med HeroX faktakontrollutmaning (Francis och Full Fact, 2016), där fyra typer av påståenden beaktades: • numeriska fordringar som omfattar numeriska egenskaper om enheter och jämförelser mellan dem • enhets- och händelseegenskaper såsom yrkeskvalifikationer och deltagare händelse • positionsangivelser såsom om en politisk enhet stödde en viss policy • citatkontroll som bedömer huruvida påståendet anger exakt källan till ett citat, dess innehåll och den händelse vid vilken det antas ha inträffat. 1 Observera att Mantzarlis och Silverman inte är överens om huruvida faktakontroll bör betraktas som en undergrupp av verifiering, eller bara överlappande med den. Även om detta är en viktig fråga tar vi inte upp den i denna undersökning eftersom den inte påverkar vår analys. 2 http://www.politfact.com/ 3 http://www.fullfact.org/ Även om vissa av dessa påståenden kan representeras som tripplar, kräver de vanligtvis mer komplexa representationer; till exempel måste händelser oftast representeras med flera ankomst- och avgångstider (Doddington m.fl., 2004) för att ange sina olika deltagare. Oavsett om textanspråk verifieras via en subjekt-predicate-objekt trippelrepresentation eller som text, är det ofta nödvändigt att disambiguera enheterna och deras egenskaper. Till exempel gäller påståendet "Beckham spelade för Manchester United" för fotbollsspelaren "David Beckham", men inte (vid tidpunkten för skrivandet) för den amerikanska fotbollsspelaren "Odel Beckham Jr". Rätt identifiera, disambiguing och jordning enheter är uppgiften för namngiven enhet länkning (McNamee och Dang, 2009). Även om detta måste göras explicit om ett anspråk omvandlas till en subjekt-predikat-objekt trippel med hänvisning till en kunskapsbas, kan det också ske implicit genom hämtning av lämpliga textbevis om faktakontroll mot textkällor. Slutligen har det funnits tillvägagångssätt som betraktar ett helt dokument som deras bidrag. Dessa metoder måste först identifiera påståendena och sedan faktakontrollera dem. Detta ökar komplexiteten i uppgiften, eftersom metoder krävs för att extrahera påståendena, antingen i form av tripletter genom att utföra relationsextraktion (Vlachos och Riedel, 2015) eller genom en övervakad straffnivå klassificering (Hassan et al., 2015b). Den typ av bevis som används för faktakontroll påverkar modellen och de typer av utgångar som faktakontrollsystemet kan producera. Till exempel, om produktionen är en etikett eller om en motivering kan framställas beror till stor del på den information som finns tillgänglig för faktakontrollsystemet. Vi överväger först uppgift formuleringar som inte använder några bevis utöver påståendet själv när förutsäga dess sannfärdighet såsom den av Rashkin et al. (2017)................................................................. I dessa fall är lingvistiska egenskaper på ytnivå i påståendena förknippade med den förutsagda sannfärdigheten. Vi ställer detta i kontrast till hur journalister arbetar när de kontrollerar fakta, där de måste finna kunskap om fakta och bedöma påståendet mot bakgrund av bevis och sammanhang när de fattar beslut om huruvida ett påstående är sant eller falskt. De förutsägelser som görs i uppgiftsformuleringar som inte tar hänsyn till bevis bortom påståendet är baserade på ytmönster av hur påståendet skrivs snarare än med tanke på det nuvarande tillståndet i världen. Wang (2017) innehåller ytterligare metadata i själva verket kontroll såsom upphovsmannen till fordran, högtalarprofilen och den mediekälla där påståendet presenteras. Även om dessa inte ger någon bevisning som grundar sig på påståendet, kan det ytterligare sammanhanget fungera som en föregångare för att förbättra klassificeringsnoggrannheten och kan användas som en del av motiveringen till en dom. Kunskapsgrafer ger en rik samling av strukturerad kanonisk information om världen lagrad i ett maskinläsbart format som kan stödja uppgiften att faktakontroll. Vi observerar två typer av formuleringar med hjälp av denna typ av bevis. Den första metoden är att identifiera/få tillbaka det element i kunskapsgrafen som ger den information som stöder eller vederlägger påståendet i fråga. Till exempel, Vlachos och Riedel (2015) och Thorne och Vlachos (2017) identifiera ämne-predikat-objekt tredubblar från små kunskapsgrafer till fakta kontrollera numeriska påståenden. När den relevanta trippeln har hittats beräknas en sanningsmärkning genom ett regelbaserat tillvägagångssätt som tar hänsyn till felet mellan de påstådda värdena och de återvunna värdena från grafen. Den viktigaste begränsningen när man använder kunskapsdiagram som bevis på detta sätt är att man antar att de verkliga fakta som är relevanta för påståendet finns i dem. Det är dock inte möjligt att fånga upp och lagra alla tänkbara fakta i diagrammet innan man känner till påståendet. Den alternativa användningen av ett kunskapsdiagram som bevis är att överväga dess topologi för att förutsäga hur troligt ett påstående (uttryckt som en kant i grafen) är att vara sant (Ciampaglia et al., 2015). Även om graftopologi kan tyda på trovärdigheten av ett faktum, men om ett faktum är osannolikt att inträffa som inte negerar dess sannfärdighet. Dessutom är det mer sannolikt att osannolika men trovärdiga påståenden blir virala och därmed i större behov av kontroll från faktakontrollanternas sida. Texter, till exempel uppslagsverksartiklar, policydokument, verifierade nyheter och vetenskapliga tidskrifter innehåller information som kan användas för att kontrollera påståenden. Ferreira och Vlachos (2016) använder artikelrubriker (enstaka meningar) som bevis för att förutsäga om en artikel är för, emot eller observerar ett påstående. The Fake News Challenge (Pomerleau och Rao, 2017) formulerade också denna del av faktakontrollprocessen på samma sätt, men i motsats till (Ferreira och Vlachos, 2016) används hela dokument som bevis, vilket gör det möjligt att kombinera bevis från flera meningar. Uppgiften Fact Extraction and Verification (FEVER) (Thorne et al., 2018) kräver att man kombinerar information från flera dokument och meningar för faktakontroll. Till skillnad från de ovan nämnda verken som använder text som bevis, ges bevisen inte men måste hämtas från Wikipedia, en stor corpus av encyklopediska artiklar. Uppskalning ännu mer, den trippel scoring uppgift WSDM kopp (Bast et al., 2017) krävde deltagare för att bedöma kunskapsgraf tredubblar med tanke på både Wikipedia och en del av webbskalan ClueWeb dataset (Gabrilovich et al., 2013). En annan källa till textbaserade bevis är arkiv över tidigare faktakontrollerade påståenden (Hassan et al., 2017b). System som använder sådana bevis motsvarar vanligtvis ett nytt påstående om att göra anspråk i ett sådant arkiv och returnerar märkningen av matchningen om en hittas. Denna typ av bevisning gör det möjligt att förutsäga sanningsmärken i stället för endast om ett påstående stöds eller motbevisas. Denna bevisning begränsar dock faktakontrollen endast till påståenden som liknar dem som redan finns i databasen. Som ett alternativ till att använda kunskap lagrad i texter eller databaser som bevis, kan aggregerad information om distribution av inlägg på sociala nätverk ge insikter om sanningen i innehållet. Ryktet sannfärdighet förutsägelse är bedömningen av makronivå beteenden av användarnas interaktioner med och distribution av innehåll för att förutsäga om påståendena i innehållet är sanna eller falska (Derczynski och Bontcheva, 2015; Derczynski et al., 2017). Detta publikbeteende ger användbara insikter, särskilt i fall där textkällor eller strukturerade kunskapsbaser kan vara otillgängliga. Tillförlitligheten hos de källor som används som bevis, dvs. Kontrollaspekten av faktakontroll i journalistiska termer beaktas sällan av automatiserade metoder, trots dess uppenbara betydelse. Ofta beaktas beviskällorna, t.ex. Wikipedia eller Freebase, eftersom detta underlättar utveckling och utvärdering, särskilt när flera modeller beaktas. Icke desto mindre, strategier som förlitar sig på Twitter metadata ofta anser trovärdighet indikatorer för de tweets som används som bevis i deras faktakontroll process (Liu et al., 2015). I likhet med journalistiken betraktas tillförlitlighetsbedömning ofta som en separat uppgift och vi diskuterar den vidare i avsnittet Related Work. Den enklaste modellen för faktakontroll är att märka ett påstående så sant eller falskt som en binär klassificering uppgift (Nakashole och Mitchell, 2014). Men vi måste också tänka på att det är möjligt att i naturligt språk vara målmedvetet flexibel med graden av sannfärdighet hos den information som uttrycks eller uttrycker en viss fördomsfullhet med hjälp av verkliga fakta. Journalistiska faktakontrollerande organ som Politifact modellerar graden av sanning i en flerpunktsskala (från sanna, mestadels sanna, halvsanna, etc). I stället för att modellera faktakontroll som en binär klassificering, Vlachos och Riedel (2014) föreslog modellera denna grad av sanning som en ordinal klassificering uppgift. Men resonemanget bakom varför de manuella faktakontrollmyndigheterna har tillämpat dessa mer finkorniga etiketter är komplicerat, ibland inkonsekvent 4 och sannolikt svårt att fånga och uttrycka i våra modeller. Wang m.fl. (2017) och Rashkin et al. (2017) förväntar sig som utdata flerklassetiketter enligt journalisternas definitioner över en flerpunktsskala men ignorerar beställningen bland dem. Den trippel scoring uppgift WSDM kopp (Bast et al., 2017) förväntas som utdata trippels poäng inom ett numeriskt intervall som anger hur troligt de är att vara sant. Utvärderingen bestod i att beräkna både skillnaderna mellan de förutsagda och de manuellt kommenterade poängen samt korrelationen mellan de rankningar som tagits fram av systemen och notatorerna. Ferreira och Vlachos (2016) förväntar sig som resultat om ett påstående stöds, vederläggs eller bara rapporteras av en nyhetsartikel rubrik. Pomerleau och Rao (2017) lade till en extra etikett för artikeln är irrelevant för påståendet, och överväga hela artikeln i stället för rubriken. Även om denna utdata kan användas i processen för faktakontroll, är det inte en fullständig faktakontroll. I FEVER (Thorne et al., 2018 ) förväntas produktionen bestå av två komponenter: en 3-vägs klassificeringsetikett om huruvida ett påstående stöds/vägras av Wikipedia, eller det finns inte tillräckligt med information i det senare till Wikipedia det, och i fallet med de två första etiketterna, de meningar som utgör bevis 4 http://www.poynter.org/news/can-fact-checkers-agree-what-true-ny-studie-dosntpoint-svaret för att nå domen. I själva verket kombinerar detta multiklass märkning output med en rankning uppgift över Wikipedia meningar. Om den förutsagda etiketten är korrekt men de bevis som hämtas är felaktiga anses svaret vara felaktigt, vilket belyser vikten av bevis i denna uppgift formulering. Detta resultat kan dock inte betraktas som en fullständig faktakontroll, om vi inte begränsar världskunskapen till Wikipedia. Användningen av full världskunskap i motiveringarna övervägdes i den gemensamma uppgiften HeroX (Francis and Full Fact, 2016), medan detta gjorde det möjligt för fullständiga faktakontroller, det krävde också manuell kontroll av resultaten. Det finns för närvarande ett begränsat antal publicerade dataset resurser för faktakontroll. Vlachos och Riedel (2014) samlade in och släppte 221 märkta påståenden inom det politiska område som hade kontrollerats av Politifact och Channel4. 5 För varje märkt påstående, talaren eller upphovsmannen tillhandahålls vid sidan av hyperlänkar till de källor som används av faktakontrollen som bevis. Källorna sträcker sig från statistiktabeller och Excel-kalkylblad till PDF-rapporter och dokument från Riksarkivet. Även om dessa källor lätt kan bedömas av människor faktum kontroller, variationen och bristen på struktur i bevisen gör det svårt att tillämpa maskininlärning-baserade metoder för att välja bevis som separata tekniker kan krävas för varje olika dokument format. När dokument läggs fram som bevis vet vi inte vilka delar av dokumentet som avser fordran, vilket gör det svårt att bedöma och utvärdera ett system för faktakontroll, med tanke på behovet av bevis och ansvarsskyldighet. Dessutom, med ett sådant begränsat antal prover, skalan av denna datauppsättning utesluter dess användning för att utveckla maskininlärning-baserade faktakontrollsystem. Wang (2017) släppte ett dataset som liknade men var större än Vlachos och Riedel (2014) och som innehöll 12,8K-märkta påståenden från Politifact. Förutom påståendena, meta-data såsom talartillhörigheten och det sammanhang i vilket påståendet förekommer (t.ex. tal, tweet, op-ed bit) tillhandahålls. I denna skala kan denna datauppsättning stödja utbildning och utvärdera ett maskininlärningsbaserat faktakontrollsystem. Datauppsättningens användbarhet kan dock begränsas på grund av att påståendena lämnas utan maskinläsbara bevis utöver originalmetadata, vilket innebär att system endast kan använda sig av metoder för faktakontroll såsom textklassificering eller högtalarprofilering. Rashkin m.fl. (2017) Insamlade fordringar från Politifact utan metadata. Dessutom publicerade författarna en datauppsättning av 74K nyhetsartiklar som samlats in från webbplatser som ansågs vara Hoax, Satire, Propaganda och Trusted News. Förutsägelsen om huruvida en nyhetsartikel är sann eller falsk är modellerad som uppgiften att förutsäga om en artikel kommer från en av de webbplatser som anses vara "falska nyheter" enligt en rapport från USA News & World. 6 Detta gör det möjligt för system att faktiskt kontrollera med hjälp av språkliga funktioner, men inte överväga bevis, eller vilka aspekter av en berättelse är sant eller falskt. Ferreira och Vlachos (2016) släppte en datauppsättning för ryktesdebunking med hjälp av data som samlats in från Emergent-projektet (Silverman, 2015). För 300 påståenden samlades 2 595 motsvarande nyhetsartiklar in och deras ställningstaganden stämplades som för, emot eller iakttaga ett påstående. Detta dataset förlängdes för datasetet 2017 Fake News Challenge (Pomerleau och Rao, 2017) som bestod av cirka 50K-rubriker och kroppspar som härleddes från de ursprungliga 300 påståendena och 2 595 artiklar. The HeroX Fast and Furious Fact Checking Challenge (Francis and Full Fact, 2016) släppte 90 (41 praktik och 49 test) märkta påståenden som en del av tävlingen. Eftersom en del av utmaningen krävde identifiering av lämpligt källmaterial lämnades inga bevis för dessa påståenden, och därför krävdes en manuell utvärdering från fall till fall. Som med de påståenden som samlats in av Vlachos och Riedel (2014), storleken på datasetet förhindrar dess användning för utbildning ett maskininlärning-baserat faktakontrollsystem. Det breda utbudet av typer av påståenden i denna datauppsättning belyser dock ett antal former av felaktig information för att hjälpa till att identifiera kraven på system för faktakontroll. Thorne och Al. (2018) införde ett faktakontrolldataset med 185K-anspråk om egenskaper hos enheter och begrepp som måste verifieras med hjälp av artiklar från Wikipedia. Även om detta begränsar poolen 5 http://channel4.com/news/factcheck 6 www.usnews.com/news/national-news/artikels/2016-11-14/undvik-dessa-fake-news-sitestill-alla-kostnader för bevis betydligt jämfört med HeroX, tillät det för en utmanande underuppgift om urval av bevis som kunde skönjas manuellt i stor skala i form av meningar som valts som bevis. Tillsammans med etiketterna på påståendena gör dessa maskinläsbara faktakontroller det möjligt att lära sig maskinbaserade faktakontrollmodeller. De flesta av de metoder som används för automatisk faktakontroll övervakas: att lära sig en textklassificering från någon form av märkta data som tillhandahålls under utbildningen. Detta drag som är oberoende av uppgiftsinmatningen eller vilka beviskällor som beaktas. Vlachos och Riedel (2014) föreslog faktakontroll med hjälp av övervakade modeller, med användning av befintliga uttalanden som hade kommenterats med domar av faktakontrollbyråer och journalister. Wang (2017) och Rashkin et al. (2017) tillämpade detta tillvägagångssätt för att klassificera sanningshalten i falska nyhetshistorier. Den huvudsakliga begränsningen av textklassificeringsmetoder är att det krävs ytterligare kunskaper i världen för att kontrollera ett påstående, vanligtvis inte med hjälp av själva påståendet. Även om språket kan ange om en mening är saklig (Nakashole och Mitchell, 2014), kan trovärdiga klingande meningar också i sig vara falska. Texten klassificering enbart på fordringar har använts för den relaterade uppgiften att upptäcka fakta-kontroll värdiga fordringar (Hassan et al., 2017a). Ciampaglia m.fl. (2015) använda nätverksanalys för att förutsäga om en oobserverad trippel sannolikt visas i en graf genom att modellera uppgiften som en väg ranking problem (Lao et al., 2011). Sanningsdomen är härledd från kostnaden för att korsa en väg mellan de två enheterna under transitiv stängning, viktad av graden av anslutning av vägen. Nakashole och Mitchell (2014) kombinerar språkliga särdrag på subjektivitet av det språk som används med samtidig förekomst av en trippel med andra tripletter från samma ämne, en form av kollektiv klassificering. Ferreira och Vlachos (2016) modellerade faktakontroll som en form av igenkännande Textual Entailment (RTE) (Dagan et al., 2009; Bowman et al., 2015), förutsäga om en premiss, typiskt (en del av) en nyhetsartikel, är för, emot, eller observera ett givet påstående. Samma typ av modell användes av de flesta av de 50 deltagande lagen i Fake News Challenge (Pomerleau och Rao, 2017), inklusive de flesta av de bästa posterna (Riedel et al., 2017; Hanselowski et al., 2017). De RTE-baserade modellerna utgår från att det finns textbevis för att kontrollera ett påstående. Således är de inte tillämpliga i fall där detta inte tillhandahålls (som i HeroX), eller det är en ganska stor textresurs som Wikipedia (som i FEVER). För det senare, Thorne et al. (2018) utvecklade ett rörformat tillvägagångssätt där RTE-komponenten föregås av en dokumenthämtning och en meningsvalskomponent. Det finns också arbete med uteslutande fokus på att hämta bevis på straffnivå från relaterade dokument för en viss fordran (Hua och Wang, 2017). Vlachos och Riedel (2015) och Thorne och Vlachos (2017) använder fjärrövervakad relationsextraktion (Mintz et al., 2009 ) för att identifiera ytmönster i text som beskriver samband mellan två enheter i ett kunskapsdiagram. Eftersom dessa faktakontroller endast fokuserar på statistiska egenskaper hos enheter, är identifieringen av positiva utbildningsexempel förenklas för att söka efter meningar som innehåller siffror som är ungefär lika med de värden som lagras i diagrammet. Att utvidga detta tillvägagångssätt till att omfatta entitetsförhållanden skulle innebära olika utmaningar, eftersom det kan finnas många förbindelser mellan samma två enheter som skulle behöva särskiljas på ett korrekt sätt för att detta tillvägagångssätt ska kunna användas. En populär typ av modell som ofta används av faktakontrollerande organisationer i deras process är att matcha ett påstående med befintliga, tidigare faktakontrollerade. Detta minskar uppgiften till meningsnivå textlikhet som föreslagits av Vlachos och Riedel (2014) och genomförs i ClaimBuster (Hassan et al., 2017b), Truthteller av The Washington Post 7 och en av de två lägen av Full Facts Live plattform. 8 Det kan dock bara användas för att kontrollera upprepade eller parafraserade påståenden. Lång et al. (2017) utöka de modeller som tagits fram av Wang (2017) och förbättra noggrannheten i ett enkelt faktakontrollsystem genom en mer utvidgad profilering av upphovsmännen till fordringarna. Den mest inflytelserika egenskapen i denna modell är upphovsmannens kredithistorik, en metriska beskrivning av hur ofta upphovsmannens 7 https://www.knightfoundation.org/artiklar/debuting-truth-teller-washington-postreal-time-lie-detektivion-service-din-tjänst-inte-quite-yet 8 https://fullfact.org/blog/2017/jun/automated-fact-checking-fullfact/anspråk klassificeras som falska. Denna funktion introducerar en skevhet i modellen som passar med talesättet "aldrig lita på en lögnare". När det gäller tidigare oannoterade källor som kanske inte har någon inspelad historik, skulle denna funktion inte vara tillgänglig. Dessutom har den starka tilliten till kredithistoriken vissa viktiga etiska konsekvenser som måste beaktas noggrant. Trots dessa begränsningar har högtalarprofilering visat sig vara effektiv i andra relaterade studier (Gottipati et al., 2013; Long et al., 2016) och diskuteras vidare i avsnitt 6. Verifiering I avsnitt 2 belyste vi skillnaden mellan verifiering och faktakontroll. Medan de modeller som behandlas i avsnitt 4 fungerar under en sluten värld paradigm där vi antar att alla bevis som tillhandahålls är sanna, för att dessa faktakontrolltekniker ska skalas till och fungera på webben, måste vi också betrakta information som är av okänd sanning som bevis. Metoder för att förutsäga auktoritativheten av webbsidor som PageRank (Brin och Page, 1998) endast överväga hyperlänk topologi. TrustRank (Gyöngyi et al., 2004 ) tillhandahåller ett ramverk som innehåller kommenterad information och förutspår pålitligheten av sidor baserat på graf-anslutning till kända-dåliga noder snarare än informationsinnehållet. Ett alternativ är Knowledge-based Trustability scoring (Dong et al., 2015), vilket gör det möjligt att förutsäga om de fakta som extraheras från en viss dokumentsida sannolikt är korrekta med tanke på den metod som används för att extrahera fakta och den webbplats där dokumentet publiceras. Gemensamt förnuft Resonemang Faktakontroll kräver förmågan att resonera om argument med sunt förnuft kunskap. Detta kräver att man utvecklar system som går längre än att erkänna semantiska fenomen som är mer komplexa än de som normalt betraktas i textrelaterade uppgifter. Habernal m.fl. (2018) införde en ny uppgift och datauppsättning för att förutsäga vilken implicit motivering (skälet till ett argument) som krävs för att stödja ett påstående från en given premiss. Angeli och Manning (2014) föreslog en metod för att extrahera sunt förnuft kunskap från WordNet för resonemang om sunt förnuft kunskap med hjälp av Natural Logic och utvärderade deras tillvägagångssätt på en delmängd av textproblem i FraCaS test svit (Cooper et al., 1996). Det är viktigt att bygga system som kan resonera om både explicit världskunskap och implicit sunt förnuft kunskap är ett viktigt steg mot automatisera faktakontroll. Rashkin m.fl. (2017) bedöma tillförlitligheten hos hela nyhetsartiklar genom att förutsäga om dokumentet kommer från en webbplats som klassificeras som Hoax, Satire eller Propaganda. Detta arbete är ett exempel på subjektiv språkdetektering och representerar inte evidensbaserad faktakontroll. Författarna använde övervakade klassificeringar förstärkt med lexikon inklusive den lingvistiska undersökningen och Word Count (LIWC) (Pennebaker et al., 2015), en känsla lexikon (Wilson et al., 2005), en säkring lexikon (Hyland, 2015), och en roman "dramatiskt" språklexikon för att identifiera motiv, subjektiva och sensationella språk i artiklarna organ. Analysen av de lexiska egenskaperna med hjälp av en logistisk regressionsklassificering visar dessutom att de högsta viktade (mest särskiljande) egenskaperna för de otillförlitliga källorna innefattade användning av säkringsord (t.ex. "reportedly") eller ord som hänför sig till söndrande ämnen (t.ex. "liberaler" eller "Trump"). Författarna tillämpar en liknande modell för förutsägelser om påståenden från politiker från påståenden som samlats in från Politifact. Tillägget av LIWC-lexikonet, som ger en indikation på känslosam ton och äkthet, förbättrade klassificeringsnoggrannheten marginellt för enkla lexiska modeller. Det finns språkliga signaler och funktioner i skriven text som är användbara för att identifiera vilseledande språk (Zhou et al., 2004). I samband med upptäckt av vilseledande användargenererat innehåll – en specifik form av desinformation, använder Mihalcea och Strapparava (2009) en enkel lexisk klassificeringsmodell utan ytterligare funktionsteknik. Analys av modellen identifierar ett antal ordklasser i LIWC-lexikonet som endast hänför sig till de bedrägliga texterna. Ott m.fl. (2011) införliva användningen av psykolingvistiska metoder för att förbättra klassificeringsnoggrannheten. Mihalcea och Strapparava (2009) fann att sanningsenliga texter mer sannolikt innehöll ord som tillhör den "optimistiska" LIWC-klassen såsom "bästa", "hoppa" och "fasta". Detta bekräftas av undersökningen av känslor i bedrägliga texter (Ott et al., 2013) som också identifierade att texter med negativa känslor var mer benägna att vara vilseledande. Dessa funktionsklasser kan dock vara en artefakt av datagenereringsprocessen som crowd-sourced volontärer först ombads att skriva en ärlig text och skriva om den för att göra det vilseledande. Feng et al. (Feng m.fl.) (2012) Upptäck vilseledande texter och kundgenererade recensioner genom användning av syntaktisk stil snarare ordbaserat innehåll. Icke-terminalala noder av valkretsen parse träd används som egenskaper i samband med en lexikal modell för att öka noggrannheten över att använda ord ensam. Hai och al. (2016) identifiera vilseledande recensioner också med hjälp av lexiska funktioner. I stället för att förlita sig på märkta data framkallar författarna dock etiketter över ett omärkt dataset genom en halvövervakad inlärningsmetod som utnyttjar en minimal mängd märkta data från relaterade uppgifter i en uppsättning läranden med flera uppgifter. Även om språkligt innehåll, känsloladdat språk och syntax är användbara indikatorer för att upptäcka bedrägeri, beror sanningshalten i ett uttalande också på sammanhanget. Utan att ta hänsyn till dessa faktorer kan dessa metoder inte användas enbart för att kontrollera informationen. Ryktedetektion Rumor detektion (Qazvinian et al., 2011) är uppgiften att identifiera okontrollerade rapporter cirkulerar på sociala medier. En förutsägelse bygger vanligtvis på språklig subjektivitet och ökad läsförmåga genom ett socialt nätverk. Även om dessa är viktiga faktorer att överväga, en mening kan vara sant eller falskt oavsett om det är ett rykte (Zubiaga et al., 2018). Talare Profilering Identifiera påståenden som inte passar in i upphovsmannens profil kan ge insikter om huruvida informationen är sanningsenlig eller inte. Dessutom kan fastställandet av vilka ämnen upphovsmannen är sanningsenlig om göra det möjligt att skapa en riskbaserad metod för faktakontroll. Som tidigare nämnts, Long et al. (2017) införde ett begrepp om kredithistorik som ökar klassificeringsnoggrannheten vid upptäckt av falska nyheter. Detta begrepp tar dock inte hänsyn till vilka ämnen upphovsmannen ligger till grund för. Antagandet att varje källa har en övergripande trovärdighetspoäng som ska knytas till varje påstående från det finns inte heller något giltigt, eftersom felaktig information kan hittas även på de mest ansedda källorna. Ett alternativ är att beakta huruvida en fordran är förenlig med originatorns profil. Detta är fortfarande ett öppet forskningsområde. Feng och Hirst (2013) utför omvänt denna uppgift för vilseledande språkdetektion i produktrecensioner genom att skapa en genomsnittlig profil för målen (produkter) och använda avståndet mellan en översyn och målet som en funktion. Bristerna i denna metod är att det krävs ett antal översyner för varje mål. Med tanke på uppgifterna att verifiera automatiskt extraherad information eller faktakontroll för politik, för ett nytt ämne utmaningen är att det kan finnas otillräckliga data för att skapa en profil för det. Pérez-Rosas och Mihalcea (2015) identifierar författarens egenskaper (såsom ålder och kön) som påverkar författarnas språkliga val när de tillverkar information i produktrecensioner. Eftersom de flesta politikers tillhörighet, ålder och kön är allmänt kända är det tänkbart att dessa inslag kan bidra till att kontrollera politiska anspråk. Medan användningen av meta-data förbättrar klassificeringsnoggrannheten Long et al., 2017), för faktakontroll måste vi överväga innebörden av påståendet med avseende på grundsanning snarare än baserat på den språkliga stilen av upphovsmannen. Klicka på Bait Detection Avsiktligt vilseledande rubriker eller titlar som är utformade särskilt för att uppmuntra en användare att klicka igenom och besöka en webbplats kallas klick bete. Studier av upptäckt av klick bete har gett positiva resultat från relativt enkla språkliga egenskaper (Chen et al., 2015; Pottast et al., 2016; Chakraborty et al., 2016). Dessa metoder tar bara upp artikelns rubrik och använder inte bevis. Vi ställer detta i kontrast till uppgiften att upptäcka rubriker som är oförenliga med dokumentorganet (Chesney et al., 2017), där befintliga metoder för att känna igen textbegrepp såsom de som används för Fake News Challenge (Pomerleau och Rao, 2017) kan tillämpas. I detta dokument gav vi en NLP-motiverad översikt över faktakontroll, med tanke på fallet med bevis - liknande hur uppgiften utförs av journalister. Vi belyste befintliga arbeten som beaktar faktakontroll av påståenden som uttrycks i text eller via kunskapsbas tredubblar och påpekade deras brister, med tanke på behovet av att motivera sina beslut med hjälp av bevis. Vi har inte identifierat tillvägagångssätt som använder sig av öppen kunskap. Det kommer att bli svårt att bedöma ett systems förmåga i en öppen värld.HeroX-utmaningen tillgrep en helt manuell utvärdering, som är svår att skala upp, särskilt i syfte att utveckla maskininlärningsbaserade metoder. Vi måste därför överväga hur vi ska ta itu med uppgiftens uppgiftsinsamlingsutmaning, inklusive dess utvärdering. Vi måste också överväga kontrollen av de bevis som används, vilket ignoreras under det slutna antagandet i världen. Helst bör vi överväga kontroll tillsammans med faktakontroll, vilket i själva verket är hur det utförs i journalistik. Den relativa bristen på resurser som uttryckligen utformats för faktakontroll belyser svårigheterna med att fånga upp och formalisera uppgiften, särskilt med tanke på det starka intresset för den. Även om nyligen publicerade storskaliga resurser som FEVER kan stimulera framsteg, de bara anser enkla korta meningar (8 ord lång i genomsnitt). Det finns således utrymme för att faktiskt kontrollera sammansatt information eller komplexa meningar och skala upp till faktakontroll på dokumentnivå. Dessutom är motiveringen till etiketterna i FEVER begränsad till meningar som valts ut från Wikipedia. Detta skiljer sig mycket från den logik som skapas av mänskliga faktakontroller, som syntetiserar information. Generationen av sådana resonemang har väckt uppmärksamhet först nyligen i NLP (Ling et al., 2017), och automatiserad faktakontroll kan ge en idealisk testbädd för att utveckla den vidare. Även om text ofta används för att göra ett påstående, ofta bevis för faktakontroll visas i andra former, såsom bilder och videor. Med tanke på den senaste tidens intresse för multimodal NLP hävdar vi att detta skulle vara en viktig riktning för framtida forskning, särskilt med tanke på att en hel del av verifieringsinsatserna inom journalistik är inriktade på att identifiera förfalskade bilder och bilder. Slutligen är det viktigt att erkänna att komplexiteten i den faktakontroll som utförs av journalister för tillfället ligger bortom de systems förmåga som vi kan utveckla på grund av det ganska komplexa resonemang som behövs. Även ett enkelt kort uttalande som att "Storbritannien, genom att lämna EU, kommer att ta tillbaka kontrollen på cirka 350 miljoner pund per vecka" kräver en hel del arbete för att kontrolleras. 9 I detta faktum kontrollera till exempel, det första steget är att justera påståendet för att göra det mer exakt i fråga om dess betydelse så att den faktiska faktakontrollen kan fortsätta. Även om denna komplexitet kan bidra till att stimulera framsteg inom den nationella strategiska strategin och närliggande områden, bör den också kalibrera våra förväntningar och löften till samhället. Andreas Vlachos stöds av EU:s SUMMA-projekt H2020 (bidragsavtal nr 688139). Författarna vill tacka Dhruv Ghulati och Alexios Mantzarlis för deras feedback.  Hänvisningar
REF genomförde en undersökning om automatiserad faktakontroll av forskning som härrör från bearbetning av naturligt språk och andra relaterade fält.
Automated Fact Checking: Task formulations, methods and future directions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}