Vi presenterar ett dokumentkompressionssystem som använder en hierarkisk bullrig kanalmodell av textproduktion. Vårt kompressionssystem härleder först automatiskt den syntaktiska strukturen i varje mening och den övergripande diskursstrukturen i den text som ges som input. Systemet använder sedan en statistisk hierarkisk modell av textproduktion för att släppa icke-viktiga syntaktiska och diskursiska komponenter för att generera sammanhängande grammatiska dokumentkompressioner av godtycklig längd. Systemet överträffar både en baslinje och ett meningsbaserat kompressionssystem som fungerar genom att förenkla alla meningar i en text i angiven ordning. Våra resultat stöder påståendet att diskurskunskap spelar en viktig roll i dokumentsammanfattningen.
Med hjälp av en bullrig kanalmodell utnyttjar REF diskursstrukturen i ett dokument och den syntaktiska strukturen i dess meningar för att avgöra vilka beståndsdelar som ska falla, men också vilka diskursenheter som är oviktiga.
A Noisy-Channel Model For Document Compression
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}