Vi visar att en olexikaliserad PCFG kan tolka mycket mer exakt än tidigare visat, genom att använda sig av enkla, språkligt motiverade tillstånd uppdelningar, som bryter ner falska självständighet antaganden latenta i en vanilj trädbank grammatik. Faktum är att dess prestanda på 86,36 % (LP/LR F 1 ) är bättre än den hos tidiga lexikaliserade PCFG-modeller, och förvånansvärt nära dagens tillstånd av hjärta. Detta resultat har potentiella användningsområden utöver att etablera en stark lägre gräns på maximal möjlig noggrannhet av olexikaliserade modeller: en olexikalized PCFG är mycket mer kompakt, lättare att replikera, och lättare att tolka än mer komplexa lexical modeller, och tolkningsalgoritmer är enklare, mer allmänt förstådd, av lägre asymptotic komplexitet, och lättare att optimera. I början av 1990-talet, som probabilistiska metoder svepte NLP, tolkade arbetet återupplivade undersökningen av probabilistiska kontextfria grammatiker (PCFGs) (Booth och Thomson, 1973; Baker, 1979). Emellertid, tidiga resultat på nyttan av PCFGs för parse disambiguation och språk modellering var något nedslående. En övertygelse uppstod om att lexicalized PCFGs (där huvudord annotate phrasal noder) var det viktigaste verktyget för högpresterande PCFG tolkning. Detta tillvägagångssätt var kongruent med den stora framgången för ord n-gram modeller i taligenkänning, och hämtade styrka från ett bredare intresse för lexikaliserad grammatik, samt demonstrationer att lexikala beroenden var ett viktigt verktyg för att lösa tvetydigheter som PP bilagor (Ford et al., 1982; Hindle och Rooth, 1993). Under det följande årtiondet uppnåddes stora framgångar i fråga om tolkning och även språkmodellering genom olika lexikaliserade PCFG-modeller (Magerman, 1995; Charniak, 1997; Collins, 1999; Charniak, 2000; Charniak, 2001). Flera resultat har emellertid ifrågasatt hur stor roll lexikalisering spelar i sådana tolkar. Johnson (1998) visade att prestandan hos en olexikaliserad PCFG över Penn Treebank kunde förbättras enormt helt enkelt genom att notera varje nod efter dess moderkategori. Penn trädbank som täcker PCFG är ett dåligt verktyg för tolkning eftersom de kontextfrihetsantaganden den förkroppsligar är alldeles för starka, och försvaga dem på detta sätt gör modellen mycket bättre. Mer nyligen, Gildea (2001) diskuterar hur ta gallexiska sannolikheter från en bra nuvarande lexicalized PCFG parser skadar prestanda knappast alls: med högst 0,5% för testtext från samma domän som träningsdata, och inte alls för testtext från en annan domän. Men det är just dessa gallexiska beroenden som stödde intuitionen att lexikaliserade PCFGs bör vara mycket framgångsrika, till exempel i Hindle och Rooths demonstration från PP-fäste. Vi tar detta som en återspegling av den grundläggande sparsamheten i den lexikala beroendeinformation som finns tillgänglig i Penn Treebank. Som en tal person skulle säga, en miljon ord av utbildning data är helt enkelt inte tillräckligt. Även för ämnen som är centrala för trädbankens Wall Street Journal text, såsom aktier, många mycket rimliga beroenden förekommer bara en gång, till exempel lager stabiliseras, medan många andra inträffar inte alls, till exempel aktier skjutit i höjden. De bäst presterande lexikaliserade PCFGs har alltmer använt sig av subkategorisering 3 av 1 Det finns mindre skillnader, men alla de nuvarande mest kända lexicalized PCFGs använder både monolexical statistik, som beskriver de Phrasal kategorier av argument och tillägg som visas runt ett huvud lexical objekt, och gallexical statistik, eller beroenden, som beskriver sannolikheten för ett huvudord tar som en beroende en fras som leds av ett visst annat ord. 2 Denna observation motiverar olika klass-eller likhetsbaserade metoder för att bekämpa gleshet, och detta förblir en lovande aveny av arbete, men framgång på detta område har visat sig något svårfångad, och, i alla fall, nuvarande lexikaliserade PCFGs använder helt enkelt exakta ordmatcher om det finns, och interpolera med syntaktiska kategori-baserade uppskattningar när de inte är. 3 I detta papper använder vi termen subkategorisering i den ursprungliga allmänna betydelsen av Chomsky (1965), för där en syntaktisk katt-
I de experiment som redovisas här använder vi Stanford parser v3.3.1 REF.
Accurate Unlexicalized Parsing
{'venue': 'Annual Meeting Of The Association For Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}