Denna artikel visar att webben kan användas för att få frekvenser för bigrams som är osynliga i en given corpus. Vi beskriver en metod för att hämta räknas adjektiv-nom, substantiv-nom, och verb-objekt bigrams från webben genom att fråga en sökmotor. Vi utvärderar denna metod genom att visa: (a) en hög korrelation mellan webbfrekvenser och korpusfrekvenser; (b) en tillförlitlig korrelation mellan webbfrekvenser och rimlighetsbedömningar; (c) en tillförlitlig korrelation mellan webbfrekvenser och frekvenser som återskapas med hjälp av klassbaserad utjämning; (d) en bra prestanda av webbfrekvenser i en pseudodisambigering uppgift. 1 En granskare påpekar att informationsleverantörer som Lexis Nexis http://www.lexisnexis.com/ kan ha databaser som är ännu större än webben. Lexis Nexis ger tillgång till fulltext till nyhetskällor (inklusive tidningar, trådtjänster och utskrifter av sändningar) och juridiska data (inklusive rättspraxis, koder, förordningar, juridiska nyheter och laggranskningar). 2 Detta är antalet sidor indexerade av Google i december 2002, som uppskattas av Search Engine Showdown http://www.searchengineshowdown.com/. Beräkningslingvistik Volym 29, Nummer 3 Keller och Lapata Web Frekvenser för osedda Bigrams Hämtande Frekvenser från webben Datamängderna som användes i det nuvarande experimentet erhölls från British National Corpus (BNC) (se Burnard [1995]). BNC är ett stort synkroniskt korpus, bestående av 90 miljoner textord och 10 miljoner ord i tal. BNC är en balanserad corpus (dvs. den sammanställdes för att representera ett brett spektrum av dagens brittiska engelska). Den skriftliga delen innehåller bland annat prover från tidningar, tidskrifter, böcker (både akademiska och skönlitterära), brev och skol- och universitetsuppsatser. Den talade delen består av spontana samtal, inspelade från frivilliga, balanserade efter ålder, region och samhällsklass. Andra exempel på talade språk ingår också, allt från affärs- eller regeringsmöten till radioprogram och telefonin. Korpus representerar många olika stilar och varianter och är inte begränsad till något visst ämnesområde, genre eller register. För denna studie användes BNC för att extrahera data för tre typer av predicateargumentrelationer. Den första typen är adjektiv-nun bigrams, där vi antar att substantivet är det predikat som tar adjektivet som sitt argument. 3 Den andra predikat-argument typ vi undersökte är substantiv- substantiv föreningar. För dessa antar vi att det högra substantivet är det predikat som väljer det vänstra substantivet som argument (eftersom sammansatta substantiv i allmänhet är högerhövdade på engelska). För det tredje inkluderade vi verb-objekt bigrams, där verbet är predikatet som väljer objektet som argument. Vi betraktade endast direkta NP objekt; bigram består av verbet och huvudet substantivet av objektet. För var och en av de tre predikat-argument relationer, vi samlade två datamängder, en som innehåller sett bigrams (dvs., bigrams som förekommer i BNC) och en med osynliga bigrams (dvs, bigrams som inte förekommer i BNC). För de sedda adjektiv-nun bigrams, använde vi data från Lapata, McDonald, och Keller (1999), som sammanställde en uppsättning av 90 bigrams enligt följande. Först valdes 30 adjektiv slumpmässigt från en del-av-tal-taggad och lemmatized version av BNC så att varje adjektiv hade exakt två sinnen enligt WordNet (Miller et al. 1990) och var entydigt märkt som "adjektiv" 98,6% av tiden. Lapata, McDonald, och Keller använde den del-av-tal-taggade versionen som görs tillgänglig med BNC och märktes med hjälp av CLAWS4 (Leech, Garside, och Bryant 1994), en probabilistisk del av peech tagger, med felfrekvens varierar från 3% till 4%. Den lemmatiserade versionen av corpus erhölls med Karp et al.'s (1992) morfologisk analysator. De 30 adjektiven varierade i BNC-frekvensen från 1,9 till 49,1 per miljon ord, dvs. de täckte hela intervallet från ganska sällan förekommande till mycket frekventa objekt. Gsearch (Corley m.fl.) 2001), en diagramtolk som upptäcker syntaktiska mönster i en taggad corpus genom att utnyttja en användarspecificerad kontextfri grammatik och en syntaktisk fråga, användes för att extrahera alla substantiv som förekommer i en huvudmodifierare relation med ett av de 30 adjektiv. Exempel på syntaktiska mönster anges i tabell 1. I fallet med adjektiv som modifierar sammansättning substantiv, endast sekvenser av två substantiv inkluderades, och det högra förekommande substantivet ansågs huvudet. Bigrams med lämpliga substantiv eller substantiv med låg frekvens (mindre än 10 per miljon ord) förkastades. Detta var nödvändigt eftersom bigrams användes i experiment med infödda talare (se avsnitt 3.2), och vi ville minska risken för att inkludera ord som inte är främmande för försökspersonerna. För varje adjektiv, var uppsättningen av bigrams uppdelad i tre frekvensband baserade på en lika uppdelning av
REF utvärderade nyttan av att använda webbsökmotorstatistik för osynlig bigram.
Using the Web to Obtain Frequencies for Unseen Bigrams
{'venue': 'Computational Linguistics', 'journal': 'Computational Linguistics', 'mag_field_of_study': ['Computer Science']}