Med en partiell beskrivning som "hon öppnade motorhuven", kan människor resonera om situationen och förutse vad som kan komma härnäst ("då undersökte hon motorn"). I detta dokument introducerar vi uppgiften att grunda en allmängiltig slutsats, förena naturligt språk inferens och sunt resonemang. Vi presenterar Swag, en ny dataset med 113k flervalsfrågor om ett rikt spektrum av jordade situationer. För att ta itu med de återkommande utmaningarna med notationsartefakter och mänskliga förutfattade meningar som finns i många befintliga datauppsättningar föreslår vi Adversarial Filtering (AF), ett nytt förfarande som konstruerar en de-biased dataset genom att iterativt träna en ensemble av stilistiska klassifiatorer, och använda dem för att filtrera data. För att ta hänsyn till den aggressiva kontradiktoriska filtreringen använder vi toppmoderna språkmodeller för att massivt överta prov på en mängd olika potentiella kontrafaktiska. Empiriska resultat visar att även om människor kan lösa de resulterande inferensproblemen med hög noggrannhet (88 %), kämpar olika konkurrenskraftiga modeller på vår uppgift. Vi tillhandahåller en omfattande analys som visar på betydande möjligheter för framtida forskning.
SWAG REF ) är ett naturligt språk inference dataset med fokus på svåra allmänningar slutsatser.
SWAG: A Large-Scale Adversarial Dataset for Grounded Commonsense Inference
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}