Vi presenterar Emergent, en ny datauppsättning härledd från ett digitalt journalistiskt projekt för ryktesdebunking. Datauppsättningen innehåller 300 ryktbara påståenden och 2 595 tillhörande nyhetsartiklar som samlats in och märkts av journalister med en uppskattning av deras sannfärdighet (sann, falsk eller okontrollerad). Varje tillhörande artikel är sammanfattad i en rubrik och märkt för att ange om dess ståndpunkt är för, emot eller observera påståendet, där observation visar att artikeln bara upprepar påståendet. Således, Emergent ger en verklig datakälla för en mängd olika naturliga språk bearbetningsuppgifter i samband med faktakontroll. Utöver att presentera datasetet, vi tar itu med uppgiften att bestämma artikeln rubrikställning med avseende på påståendet. För detta ändamål använder vi en logistisk regressionsklassificering och utvecklar funktioner som undersöker rubriken och dess överensstämmelse med påståendet. Den noggrannhet som uppnåddes var 73% vilket är 26% högre än den som uppnåddes av Excitement Open Platform (Magnini et al., 2014).
Senare ger REF en ny handgjord datauppsättning av ryktbara påståenden.
Emergent: a novel data-set for stance classification
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}