Semantisk kunskap kan vara en stor tillgång för naturligt språk bearbetningssystem, men det är oftast handkodad för varje ansökan. Även om viss semantisk information finns tillgänglig i generella kunskapsbaser som WordNet och Cyc, många tillämpningar kräver domänspecifika lexikon som representerar ord och kategorier för ett visst ämne. I detta dokument presenterar vi en corpusbaserad metod som kan användas för att bygga semantiska lexikon för specifika kategorier. Inmatningen till systemet är en liten uppsättning fröord för en kategori och en representativ textkorpus. Utmatningen är en rankad lista med ord som hör ihop med kategorin. En användare granskar sedan de topprankade orden och bestämmer vilka som ska skrivas in i det semantiska lexikonet. I experiment med fem kategorier, brukar användare hitta ca 60 ord per kategori i 10-15 minuter för att bygga en kärna semantisk lexikon. Semantisk information kan vara till hjälp i nästan alla aspekter av naturligt språk förståelse, inklusive ordförnimmelse disambiguation, urval begränsningar, fasthållande beslut, och diskurs bearbetning. Semantiska kunskaper kan tillföra en hel del kraft och noggrannhet till naturligt språk bearbetningssystem. Men semantisk information är svår att få tag på. I de flesta fall kodas semantisk kunskap manuellt för varje applikation. Det har gjorts några storskaliga ansträngningar för att skapa breda semantiska kunskapsbaser, såsom WordNet (Miller, 1990) och Cyc (Lenat, Prakash, och Shepherd, 1986). Även om dessa ansträngningar kan vara användbara för vissa tillämpningar, tror vi att de aldrig till fullo kommer att tillfredsställa behovet av semantisk kunskap. Många domäner kännetecknas av sitt eget underspråk som innehåller termer och jargong specifika för fältet. Att representera alla underspråk i en enda kunskapsbas skulle vara nästan omöjligt. Dessutom är domänspecifika semantiska lexikon användbara för att minimera tvetydighetsproblem. Inom ramen för en begränsad domän, många polysemösa ord har en stark preferens för ett ord känsla, så att veta den mest sannolika ordet känsla i ett område kan starkt begränsa tvetydigheten. Vi har experimenterat med en corpusbaserad metod för att bygga semantiska lexikon halvautomatiskt. Vårt system använder en text corpus och en liten uppsättning frö ord för en kategori för att identifiera andra ord som också tillhör kategorin. Algoritmen använder enkel statistik och en bootstrappningsmekanism för att generera en lista över potentiella kategoriord. En människa granskar sedan topporden och väljer ut de bästa orden i ordboken. Vår strategi är inriktad på snabb semantisk lexicon konstruktion: med en handfull frö ord för en kategori och en representativ text corpus, kan man bygga en semantisk lexicon för en kategori på bara några minuter. I det första avsnittet beskriver vi den statistiska bootstrappningsalgoritmen för att identifiera kandidatkategoriord och rangordna dem. Därefter beskriver vi experimentella resultat för fem kategorier. Slutligen diskuterar vi våra erfarenheter med ytterligare kategorier och såddordslistor, och sammanfattar våra resultat.
Tidiga bootstraping metoder som REF baserades på få frö ord i en semantisk kategori och deras närmaste grann sammanhang.
A Corpus-Based Approach For Building Semantic Lexicons
{'venue': 'Conference On Empirical Methods In Natural Language Processing', 'journal': None, 'mag_field_of_study': ['Computer Science']}