Vi föreslår ett modellbaserat mått för att uppskatta den faktiska riktigheten hos genererad text som kompletterar typiska poängsättningssystem som ROUGE (Recall-Oriented Under study for Gisting Evaluation) och BLEU (Bilingual Evaluation Understudy). Vi introducerar och släpper en ny storskalig datauppsättning baserad på Wikipedia och Wikidata för att träna relationsklassificeringar och end-to-end faktaextraktionsmodeller. End-to-end modellerna visas för att kunna extrahera kompletta uppsättningar fakta från datauppsättningar med hela sidor av text. Vi analyserar sedan flera modeller som uppskattar faktanoggrannheten på en Wikipedia textsammanfattning uppgift, och visar deras effektivitet jämfört med ROUGE och andra modellfria varianter genom att genomföra en mänsklig utvärdering studie.
I REF jämfördes olika system för informationsextraktion för att bedöma den faktiska riktigheten hos genererad text.
Assessing The Factual Accuracy of Generated Text
{'venue': "The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD '19), August 4--8, 2019, Anchorage, AK, USA", 'journal': None, 'mag_field_of_study': ['Computer Science']}