I detta dokument beskrivs en empirisk studie av uppgiften "Informationssyntes", som definieras som processen att (med tanke på ett komplext informationsbehov) extrahera, organisera och interrelatera de delar av informationen som ingår i en uppsättning relevanta dokument, för att erhålla en heltäckande, icke överflödig rapport som uppfyller informationsbehovet. Två huvudsakliga resultat presenteras: a) skapandet av en informationssyntes testbädd med 72 rapporter manuellt genereras av nio ämnen för åtta komplexa ämnen med 100 relevanta dokument vardera; och b) en empirisk jämförelse av likhetsmått mellan rapporter, under hypotesen att den bästa metriska är den som bäst skiljer mellan manuella och automatiskt genererade rapporter. En metrisk baserad på nyckelbegrepp överlappar ger bättre resultat än mätvärden baserade på n-gramöverlappning (t.ex. ROUGE) eller överlappning av meningar.
Dessa riktlinjer utformades efter den informationssyntes som föreslagits av REF, som de karakteriserar som "processen för (med tanke på ett komplext informationsbehov) utdrag, organisering och interrelation av de delar av informationen som finns i en uppsättning relevanta dokument, för att erhålla en omfattande, icke-redundant rapport som uppfyller informationsbehovet".
An Empirical Study Of Information Synthesis Task
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}