Även om neurala nätverk närmar sig uppnå anmärkningsvärd framgång på en mängd olika NLP uppgifter, många av dem kämpar för att svara på frågor som kräver allmängiltig kunskap. Vi anser att huvudorsaken är bristen på allmängiltiga samband mellan begreppen. För att råda bot på detta tillhandahåller vi en enkel och effektiv metod som utnyttjar den externa Commonsense kunskapsbasen som ConceptNet. Vi pre-trainerar direkta och indirekta relationsfunktioner mellan koncept, och visar att dessa förtränade funktioner enkelt kan läggas till befintliga neurala nätverksmodeller. Resultaten visar att införandet av en allmännyttig funktion förbättrar den senaste tekniken i två frågor som besvarar uppgifter som kräver ett sunt resonemang. Ytterligare analys visar att vårt system upptäcker och utnyttjar användbara bevis från en extern gemensam kunskapsbas, som saknas i befintliga neurala nätverksmodeller och hjälper till att få fram rätt svar.
REF föreslog att man i förväg skulle träna en poängfunktion med hjälp av kunskap tredubblar från ConceptNet, för att modellera den direkta och indirekta relationen mellan begrepp.
Improving Question Answering by Commonsense-Based Pre-Training
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}