Det är ABSTRACT. I detta dokument beskrivs nya metoder för att automatiskt extrahera dokument för screeningändamål, Le. Datorval av meningar som har störst potential att förmedla dokumentets innehåll till läsaren. Medan tidigare arbete har fokuserat på en komponent av meningsbetydelse, nämligen förekomsten av högfrekvent innehållsord (nyckelord), behandlar de metoder som beskrivs här också tre ytterligare komponenter: pragmatiska ord (cue ord), titel och rubrikord, och strukturella indikatorer (sentens plats). Forskningen har resulterat i ett operativsystem och en forskningsmetodik. Extraktionssystemet är parameteriserat för att styra och variera påverkan av ovanstående fyra komponenter. I forskningsmetodiken ingår förfaranden för sammanställning av de nödvändiga ordböckerna, fastställande av kontrollparametrar och jämförande utvärdering av de automatiska extrakten med manuellt producerade extrakt. Resultaten visar att de tre nyligen föreslagna komponenterna dominerar frekvenskomponenten i produktionen av bättre extrakt. NYCKELORD OCH FRASER: automatisk utdragning, automatisk abstraktion, urval av meningar, dokumentscreening, meningsbetydelse, relevans, innehållsord, nyckelord, pragmatiska ord, replikord, titelord, meningsplacering, forskningsmetod; parameterisering, jämförande utvärdering CR-KATEGORIERNA: 3.10, 3.69, 3.71, 3.72, 3.74 Introduktion HISTORISK BAKGRUND. Kort efter det att forskningen om automatisk översättning började väcktes intresse för möjligheten att automatiskt ta fram dokument. Tyngdpunkten lades på produktionen av indikativa abstracts (dvs. abstracts som gör det möjligt för en sökare att avbilda en samling litteratur för att avgöra vilka dokument som förtjänar mer detaljerad uppmärksamhet) snarare än att framställa informativa abstracts (Le. abstracts som kan ersätta dokumentet). Det var också hypotesen att ett utdrag ur ett dokument (Le. ett urval av "betydande" meningar i ett dokument) kan fungera som ett abstrakt. Denna hypotes om utbytbarheten av abstrakta utdrag har diskuterats i [1, 2 och 4]. Alla automatiska abstraktionsmetoder hittills har endast extraherat dokument, dvs. Datorn har valt meningar i dokumentet och listat dem i textordning. Även om det under en tid har erkänts att denna typ av automatisk abstrakt bättre kan kallas ett "automatiskt extrakt", "abstrakt" används ofta som den generiska termen. Den ursprungliga metoden Luhn tilldelade vikter för varje mening i documen t enligt statistiska kriterier, i själva verket en enkel funktion av antalet högfrekvensord som förekommer i meningen. Vanliga ord som "den", "och", "vid", och "är" ignorerades på grund av deras mycket höga frekvens ensam, och de återstående orden tilldelades frekvensvikter som gav meningsvikter för att mäta meningsbetydelse. De utdrag som framställs genom denna strikt statistiska metod var av tillräcklig kvalitet för att främja ytterligare forskning [3, 6]. En rent statistisk metod för framställning av extrakt misstänktes dock vara otillräcklig, och därför sökte man andra metoder [7]. SAMMANFATTNING AV PRESENTSTUDIE. Syftet med denna studie var tvåfaldigt: för det första ett.extraherande system för att producera indikativa extrakt, och för det andra en forskningsmetodik för att hantera ny text och nya extraktionskriterier på ett effektivt sätt. Syftet med detta dokument är att göra resultaten av denna studie mer lättillgängliga. Forskningsmetodiken bestod av en studie av det abstrakta beteendet hos människor, en allmän formulering av abstrakteringsproblemet och dess relation till problemet med utvärdering, en matematisk och logisk studie av problemet med att tilldela numeriska vikter till meningar, och en uppsättning extraherande experiment med användning av cyklisk förbättring. Utsugssystemet. utvecklat använder fyra grundläggande metoder för att producera automatiska extrakt av tekniska dokument ungefär 4000 ord i längd med IBM 7090-7094 (och har omprogrammerats för UNIVAC 1103A och CDC 1604). De automatiska utdragen anses vara av tillräckligt hög kvalitet för att användas vid screening av stora samlingar av dokument. Systemet har parameteriserats för att möjliggöra ändring av både förlagrade och genererade ordlistor, för att justera vikter som tilldelats textegenskaper, för att möjliggöra val av 15 kombinationer av de fyra grundläggande metoderna för extraktion, och för att ändra längden på ett automatiskt extrakt. Tre olika utvärderingssystem tillämpades på de resulterande automatiska utdragen. Jämförelse av de automatiska utdragen och motsvarande "mål" utdrag av 40 dokument, som inte hade använts i utvecklingsforskningen, visade att ett genomsnitt på 44 procent av meningarna var samvalde. Dessutom var den genomsnittliga likheten, i termer av en subjektiv utvärdering av innehållet efter informationstyp, 66 procent. Dessa ska jämföras med ett genomsnitt av 25 procent samvalda meningar och ett genomsnitt av 34 procent likhet betyg mellan målextrakt och slumpmässiga extrakt, respektive. Statistisk jämförelse av de automatiska och motsvarande målextrakten för de dokument som användes i utvecklingsfasen visade ett genomsnitt på 57 procent samvalda meningar med en standardavvikelse på 15 procent. En analys av de motsvarande automatiska och målinriktade utdragen av 20 av dessa dokument ledde till en dom om att 84 procent av de datavalda meningarna kunde klassificeras som utdragsvärdiga, dvs. De skulle vara värda att väljas ut i ett utdrag av obegränsad längd. Följande avsnitt behandlar den forskningsmetodik som används i studien, utvinningssystemet och utsikterna för ytterligare forskning. Forskningsmetodik FORSKNING STEG. Det arbete som rapporteras här bygger på detektion och användning av meningen "betydelse". Inom meningar utvalda av människor i form av ett extrakt,
REF samlar in vanliga ord, köord, titel/rubrikord från dokument.
New Methods in Automatic Extracting
{'venue': 'JACM', 'journal': None, 'mag_field_of_study': ['Computer Science']}