Vi presenterar den första omfattande studien om automatisk kunskapsbaskonstruktion för två allmänt kända kunskapsgrafer: ATOMIC (Sap et al., 2019) och ConceptNet (Speer et al., 2017). I motsats till många konventionella KBs som lagrar kunskap med kanoniska mallar, commonsense KBs bara lagra löst strukturerade öppna-textbeskrivningar av kunskap. Vi antar att ett viktigt steg mot automatisk commonsense avslutning är utvecklingen av generativa modeller av allmängiltig kunskap, och föreslår COMmonsEnse Transformers (COMET ) som lär sig att generera rika och olika allmängiltiga beskrivningar i naturligt språk. Trots utmaningarna med Commonsense Modeling, avslöjar vår undersökning lovande resultat när implicita kunskaper från djupa pre-utbildade språkmodeller överförs för att generera explicit kunskap i commonsense kunskapsgrafer. Empiriska resultat visar att COMET kan generera ny kunskap som människor klassar som hög kvalitet, med upp till 77,5 % (ATOMIC) och 91,7 % (ConceptNet) precision på topp 1, som närmar sig mänskliga prestanda för dessa resurser. Våra rön tyder på att användning av generative commonsense modeller för automatisk commonsense KB färdigställande snart kan vara ett rimligt alternativ till utvinningsmetoder.
REF antar Atomdatasetet för att lära sig en generativ modell av allmängiltig kunskap.
COMET: Commonsense Transformers for Automatic Knowledge Graph Construction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}