I den här artikeln beskriver vi DeFactoNLP 1, det system vi utformade för FEVER 2018 Shared Task. Syftet med denna uppgift var att föreställa sig ett system som inte bara automatiskt kan bedöma riktigheten av ett påstående utan också hämta bevis till stöd för denna bedömning från Wikipedia. I vårt tillvägagångssätt, Wikipedia-dokument vars Term FrequencyInverse Document Frequency (TFIDF) vektorer är mest lik vektorn för påståendet och de dokument vars namn liknar de namngivna enheter (NE) som nämns i påståendet identifieras som de dokument som kan innehålla bevis. meningarna i dessa dokument sedan levereras till en textanknytning modul. Denna modul beräknar sannolikheten för varje mening som stöder påståendet, motsäger påståendet eller lämnar inte någon relevant information för att bedöma riktigheten av påståendet. Olika egenskaper som beräknas med hjälp av dessa sannolikheter används slutligen av en Random Forest klassificerare för att avgöra den övergripande sannfärdigheten i påståendet. De meningar som stöder denna klassificering returneras som bevis. Vår strategi uppnådde 2 en 0.4277 bevis F1-poäng, en 0.5136 etikett noggrannhet och en 0.3833 FEVER poäng 3. * Arbetet slutfördes medan författaren var student vid Birla Institute of Technology and Science, Indien och var internering vid SDA Research. 1 https://github.com/DeFacto/DeFactoNLP 2 De poäng och led som rapporteras i detta dokument är preliminära och fastställdes innan någon mänsklig utvärdering gjordes av de bevis som hämtades från de föreslagna systemen men som inte identifierades i de tidigare notomgångarna. Arrangörerna av uppgiften planerar att uppdatera dessa resultat efter en ytterligare omgång av annotering. 3 FEVER score mäter andelen fordringar för vilka minst en fullständig uppsättning bevis har hämtats från faktaverifikationssystemet.
DeFactoNLP REF syftade till att inhämta bevis för värderingen av fordran från Wikipedia.
DeFactoNLP: Fact Verification using Entity Recognition, TFIDF Vector Comparison and Decomposable Attention
{'venue': 'EMNLP 2018: Conference on Empirical Methods in Natural Language Processing (The First Workshop on Fact Extraction and Verification)', 'journal': None, 'mag_field_of_study': ['Computer Science']}