I detta dokument introducerar vi en ny offentligt tillgänglig datauppsättning för verifiering mot textkällor, FEVER: Fact Extraction och Verification. Den består av 185.445 påståenden som genererats genom att ändra meningar som utvunnits från Wikipedia och därefter verifierats utan kännedom om den mening de härstammade från. Fordringarna klassificeras som understödda, RE-FUTERADE eller ANMÄLDA INFO av annoterare som uppnår 0,6841 i Fleiss δ. För de två första klasserna antecknade notatorerna också den eller de meningar som utgör de nödvändiga bevisen för deras dom. För att beskriva utmaningen med den datauppsättning som presenteras utvecklar vi en rörledningsstrategi och jämför den med lämpligt utformade orakel. Den bästa noggrannheten vi uppnår vid märkning av ett påstående tillsammans med de korrekta bevisen är 31,87 procent, medan vi bortser från de bevis vi uppnår 50,91 procent. Därför anser vi att FEVER är en utmanande testbädd som kommer att bidra till att stimulera framsteg när det gäller kravverifiering mot textkällor.
Thorne och Al. utvecklat FEVER (Fact Extraction and Verification), en storskalig manuellt kommenterad datauppsättning med fokus på verifiering av påståenden mot textkällor REF.
FEVER: a large-scale dataset for Fact Extraction and VERification
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}