Distant övervakad relation extraktion används ofta för att extrahera relationsfakta från text, men lider av bullriga etiketter. De nuvarande metoderna för relationsextraktion försöker minska bullret genom att lära sig flera ämnen och genom att ge stöd för språklig och kontextuell information för att på ett effektivare sätt vägleda relationsklassificeringen. Samtidigt som vi uppnådde toppmoderna resultat, observerade vi dessa modeller för att vara partiska mot att erkänna en begränsad uppsättning relationer med hög precision, samtidigt som vi ignorerar dem i den långa svansen. För att ta itu med denna lucka använder vi en förtränad språkmodell, OpenAI Generative Pre-utbildade Transformer (GPT) (Radford et al., 2018). GPT och liknande modeller har visat sig fånga semantiska och syntaktiska funktioner, och även en anmärkningsvärd mängd "common-sense" kunskap, som vi hypothesize är viktiga egenskaper för att erkänna en mer varierande uppsättning relationer. Genom att utvidga GPT till den avlägset övervakade inställningen, och finjustera den på NYT10-datasetet, visar vi att den förutspår en större uppsättning av distinkta relationstyper med stort förtroende. Manuell och automatiserad utvärdering av vår modell visar att den uppnår en toppmodern AUC-poäng på 0,422 på NYT10-datasetet, och presterar särskilt bra på högre recall-nivåer.
REF utökade Generativa Förtränade Transformer (GPT) för att lära semantiska och syntaktiska funktioner för DSRE.
Fine-tuning Pre-Trained Transformer Language Models to Distantly Supervised Relation Extraction
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}