Denna uppsats presenterar en Word Sense Disambiguation metod baserad på idén om semantisk densitet mellan ord. Disambitionen görs inom ramen för WordNet. Internet används som rå korpora för att tillhandahålla statistisk information för ordföreningar. Ett mått introduceras och används för att mäta den semantiska densiteten och för att rangordna alla möjliga kombinationer av sinnena med två ord. Denna metod ger en precision på 58% för att ange den korrekta betydelsen för båda orden samtidigt. Precisionen ökar när vi överväger fler val: 70% för topp två rankad och 73% för topp tre rankad. Word Sense Disambiguation (WSD) är ett öppet problem i Natural Language Processing. Lösningen påverkar andra uppgifter som diskursen, referensresolutionen, samstämmigheten, slutsatsen och andra. WSD-metoder kan i stort delas in i tre typer: 1. WSD som utnyttjar informationen från maskinläsbara ordböcker (Cowie et a1.1992), (Miller et a1.1994), (Agirre och Rigau, 1995), (Li et a1.1995), (McRoy, 1992), 2. WSD som använder information som samlats in från utbildning på en corpus som redan har semantiskt deambiguerats (övervakade utbildningsmetoder) (Gale, Church et al., 1992), (Ng och Lee, 1996}; 3. WSD som använder information som samlats in från rå corpora (oövervakade utbildningsmetoder) (Yarowsky 1995) (Resnik 1997). Det finns också hybridmetoder som kombinerar flera kunskapskällor såsom lexikoninformation, heuristik, samlokalisering m.fl. (McRoy, 1992) (Bruce och Wiebe, 1994) (Ng och Lee, 1996) (Rigau, Asterias m.fl., 1997). Statistiska metoder ger hög noggrannhet resultat för ett litet antal förvalda ord. Bristen på allmänt tillgängliga semantiskt märkta corpora utesluter nästan övervakade inlärningsmetoder. Å andra sidan har disambitionen med oövervakade metoder den nackdelen att sinnena inte är väl definierade. Så vitt vi vet disambigerar ingen av de statistiska metoderna adjektiv eller adverber hittills. En metod för WSD är att bestämma det begreppsmässiga avståndet mellan ord, det vill säga att mäta den semantiska närheten av orden inom ett semantiskt nätverk. I huvudsak. Det är längden på den kortaste vägen som förbinder begreppen (Rada et a1.1989), (Rigau. Asterias m.fl., 1997). Genom att mäta det begreppsmässiga avståndet mellan ord, är det möjligt att bestämma sannolikheten för ord sense associationer. Till exempel försöker den metod som föreslås i (Li et a1.1995) bestämma den möjliga betydelsen av ett substantiv som förknippas med ett verb med hjälp av WordNet och en stor text. Baserat på andra förekomster av verbet eller semantiskt relaterade verb i texten bestäms det möjliga objektet genom att mäta den semantiska likheten mellan substantivobjekten. Metoder som inte behöver stora corpora är vanligtvis uteslutande baserade på MRD. Ett förslag i denna mening har lagts fram i (Agirre och Rigau, 1995): de mäter den begreppsmässiga densiteten mellan substantiv, med hjälp av WordNet, men den metod som föreslås i deras papper kan inte användas för att mäta ett begreppsmässigt avstånd mellan ett verb och ett substantiv, eftersom det inte finns några direkta kopplingar i MRD mellan substantiv och verbhierarkier. En WordNet-baserad metod för att mäta den semantiska likheten mellan substantiv föreslogs också i (Richardson et ai., 1994). Deras metod består av att använda hierarkiska begrepp grafer konstruerade från WordNet datafiler, och en semantisk likhet formel. Ändå ger metoden inte ett samband mellan olika del-av-tal ord. Vårt tillvägagångssätt Det tillvägagångssätt som beskrivs i detta dokument bygger på idén om semantisk densitet. Detta kan mätas med antalet vanliga ord som ligger inom ett semantiskt avstånd av två eller flera ord. Ju närmare det semantiska förhållandet mellan två ord, desto högre är den semantiska densiteten mellan dem. Hur det definieras här. Den semantiska densiteten fungerar bra när det gäller enhetlig MRD. I verkligheten finns det luckor i kunskapsrepresentationerna och den semantiska densiteten kan endast ge en uppskattning av den faktiska semantiska relationen mellan ord. Vi introducerar den semantiska densiteten eftersom det är I I I I I I I I I I I I I I I I I I I I relativt lätt att mäta den på en MRD som WordNet. Detta görs genom att räkna antalet begrepp två ord har gemensamt. Ett mått introduceras i denna bemärkelse som när det tillämpas på alla möjliga kombinationer av sinnena av två eller flera ord som det rankar dem. En annan idé med denna tidning är att använda Internet som en rå korpora. Således har vi två informationskällor: (1) Internet för insamling av statistik och (2) WordNet för mätning av semantisk densitet. Som kommer att visas nedan, en rankning av ord sinnen härrör från var och en av dessa två källor. Frågan nu är hur man ska kombinera dessa två rankningar för att ge en övergripande rankning. En möjlighet är att använda dem parallellt och den andra är att använda dem serievis. Vi har försökt både och det seriella tillvägagångssättet gav bättre resultat. Således, för ett verb - substantiv par, WSD metoden består av två Algoritmer, den första ranka substantiv sinnen, av vilka vi behåller endast de bästa två sinnen; och en andra Algoritm tar den produktion som produceras av den första Algoritmen och rankar par av verb - substantiv sinnen. Utökningar av denna metod till andra par än verb - noun diskuteras, och större fönster med mer än två ord beaktas. En viktig aspekt av WSD-metoden som presenteras här är att vi ger en racking av möjliga associationer mellan ord i stället för ett binärt ja/nej beslut för varje möjlig sense kombination. Detta möjliggör en kontrollerbar precision som andra moduler kan kunna skilja senare den korrekta känsla association från en sådan liten pool. WordNet är en fin korn MRD och detta gör det svårare att hitta rätt mening kombination eftersom det finns många att välja mellan och många är semantiskt nära. För tillämpningar som maskinöversättning, finkornig disambiguation fungerar bra men för information extrahering och vissa andra applikationer är detta en overkill, och vissa sinnen kan klumpas ihop. En enkel mening eller fråga kan vanligtvis kortfattat beskrivas med en handling och ett objekt; till exempel huvudidén från meningen Han måste undersöka alla rapporter kan beskrivas av handlingen-objekt paret undersöka-rapport. Även frasen kan" vara tvetydig genom att ha ett dåligt sammanhang, fortfarande resultaten av en sökning eller gränssnitt baserat på en sådan mening kan förbättras om de möjliga sambanden mellan sinnena i verbet och substantivet bestäms. I WordNet (Miller 1990) ger glansen i ett verb synset ett substantiv-kontext för det verbet, d.v.s. eventuella substantiv som förekommer i samband med det särskilda verbet. Glansen används här på samma sätt som en corpus används. För att förbättra precisionen i att bestämma den begreppsmässiga densiteten mellan ett verb och ett substantiv, bör substantivets sinnen rangordnas, till exempel för att med en rimlig noggrannhet indikera de första möjliga sinnen som det kan ha. Det tillvägagångssätt som vi har övervägt för denna uppgift är användningen av oövervakade statistiska metoder på stora texter. Ju större samling texter, desto större är sannolikheten att ge en korrekt rankning av sinnen. Som det största antalet elektroniskt lagrade texter - och därmed gynna en automatisk bearbetning - finns på webben, tänkte vi använda Internet som en källa till korpora för att rangordna sinnena i orden. Detta första steg i vår metod tar hänsyn till verb-noun par V -N, och det skapar par där verbet förblir konstant, dvs.. V, och substantivet ersätts av orden i dess likhetslistor. Med WordNet skapas en likhetslista för varje substantiv. och det innehåller: orden från substantivet synset och orden från substantiv hypernym synset.  De par som kan bildas är:. Sök igenom [nternet och ranka sinnen. En sökning som utförs på Internet för var och en av dessa grupper kommer att indikera en ranking över de möjliga sinnena av substantivet N. I våra experiment använde vi (AhaVista) eftersom det är en av de mest kraftfulla sökmotorer för närvarande tillgängliga. där asterisken (*) används som ett jokertecken som anger att vi vill hitta alla ord som innehåller en matchning för det angivna mönstret av bokstäver. Med hjälp av en av dessa frågor, kan vi få antalet träffar för varje känsla i av substantivet och detta ger en rankning av m sinnen av substantivet som de relaterar till verbet V. Vi testade denna metod för 80 verb-nomen par extraherade från SemCor 1.5 av Brown corpus, i Använda frågeformulär (a) som en ingång till sökmotorn, fick vi en noggrannhet på 83% i att ge en rankning över substantiv sinnen, såsom den betydelse som anges i SemCor var en av de första två sinnen i denna klassificering. [n Tabell 1, Vi presenterar ett urval av de resultat vi fick. Kolumnen Resultat i denna tabell presenterar rankningen över substantiv sinnena: a I i denna kolumn innebär att den betydelse som anges i SemCor också anges av vår metod: 2 innebär att den betydelse som anges i SemCor var i topp två av den betydelse rankning som tillhandahålls av vår metod; på liknande sätt, 3 eller 4 indikerar att betydelsen av substantivet, som anges i :~emCor, var i de tre, respektive fyra, av 1; hans mening rankning. Vi u., även frågeformuläret (b), men de resultat vi fick har visat sig vara liknande; med hjälp av operatören NEAR, ett större antal träffar rapporteras, men känslan ranking förblir densamma. Det är i:aterresting att observera att även vi skapar frågor som börjar med ett verb-noun par, det är ITh~: verb-noun par har extraherats från filen br-aO:. inte garanterad att sökningen på webben kommer att identifiera endast ord kopplade till en sådan lexikal relation. Vi baserade vår idé på det faktum att: (1) substantivet direkt efter ett verb är högst sannolikt att vara ett objekt för verbet (som i uttrycket "Verb* Noun*") och (2) för vår metod, vi är faktiskt intresserade av att bestämma möjliga sinnen av ett verb och ett substantiv som kan dela ett gemensamt sammanhang. 2. Utgångspunkten är följande: Med hjälp av den metod som beskrivs i avsnitt 3 rangordnas substantivets sinnen. Endast de två första möjliga sinnen som indikeras av detta steg kommer att övervägas. 3. Vad är det som händer? För varje möjligt par Vi --n) beräknas den begreppsmässiga densiteten enligt följande: a) extrahera alla glanser från underhierarkin inklusive vi (den metod som används för att bestämma dessa underhierarkier förklaras nedan) b) Bestäm substantiven från dessa glanser. Dessa utgör verbets substantivkontext. Alla dessa substantiv lagras tillsammans med nivån på det tillhörande verbet inom underhierarkin av vi. För att bestämma de underhierarkier som ska användas för vl och nj använde vi statistik från SemCor, en sense taggad version av Brown corpus (Francis och Kucera, 1967) (Miller, Leacock et al., 1993), som innehåller 250.000 ord. Varje ord (nom, verb, adjektiv, adverb) visas i en synset inom en hierarki. Topparna på dessa hierarkier definierar ordets klass. Känslan i SemCor för ett ord W anges av klass C av ordet W, och betydelsen av ordet inom klass C. Till exempel, SemCor posten: Tabell 2, klass av substantivet indikerar med en sannolikhet av 85% en korrekt känsla 1 inom den klassen. Således, för denna algoritm, anser vi för ett substantiv hierarkin inklusive substantivet (om klassen av substantivet ni är C', då metoden betraktar alla substantiv från klass C). Detta fungerar inte för verben, eftersom sannolikheten för att indikera en korrekt känsla att känna klassen är mycket mindre (endast 60%). Av denna anledning, och baserat på de experiment vi beräknade, underhierarkin 19 inklusive ett verb vi bestäms enligt följande: (i) överväga hypernym hi av verbet oi och (ii) anser hierarkin ha hi som topp. Det är nödvändigt att överväga en större hierarki då bara en som tillhandahålls av synonymer och direkta hyponymer, eftersom ge noggrannhet i en metrisk beräkning behöver stora korpora. Som vi ersatt corpora med glans, bättre resultat uppnås om mer glans övervägs. Men vi behöver inte utvidga sammanhanget alltför mycket för att inte missa de rätta svaren. För att bestämma den begreppsmässiga densiteten mellan ett substantiv ni och ett verb vj, tar algoritmen hänsyn till: • listan över substantiv sv~ som förknippas med verbens glans inom hierarkin som bestäms av hi: (svk, w~), där: -hj är hypernym av vj -w~ är nivån i denna hierarki • listan över substantiv snt inom klassen ni : De vanliga orden mellan dessa två listor (svk, wk) och (snt) kommer att producera en lista över gemensamma begrepp med tillhörande vikter cdij < w~ >. Den begreppsmässiga densiteten mellan rli och vj ges av formeln: där: • Icdijl är antalet gemensamma begrepp mellan nis och ujs hierarkier • w~ är de vikter som hör ihop med substantiven från verbets substantiv-context vj • desci är det totala antalet ord inom subnomens hierarki Eftersom substantiven med en stor hierarki tenderar att indikera ett stort värde för Icdijl, måste den viktade summan av gemensamma begrepp normaliseras i förhållande till subnomhierarkins dimension. Detta beräknas som logaritmen för det totala antalet ättlingar i hierarkin (dvs. Io9(desci) )............................................................................................................. Vi tog också hänsyn till andra mått, som: (2) Antalet vanliga begrepp mellan substantiv och verbhierarkier, utan att beakta vikterna. En möjlig förbättring av metriska (1) är att beakta vikterna för nivåerna i substantivhierarkin, förutom nivåerna i verbhierarkin. Ett exempel Betrakta som exempel på ett verb-nomen parar frasen revidera lau¢. Den verb revideras har två möjliga sinnen i WordNet 1.5: Sense 1 revidera, göra ändringar i glans: (revidera en avhandling, till exempel) =~ skriva om, skriva annorlunda, ändra genom att skriva glans: ("Studenten skriva om sin avhandling") Sense 2 re verktyg, revidera =~ omorganisation, skaka upp, organisera ett substantiv lag har 7 möjliga sinnen Sense 1 lag, rättspraxis glans: (samling av regler på grund av myndighet; ~ civilisation förutsätter respekt för lagen") insamling, ansamling, ansamling, assemblage glans: (flera saker grupperade tillsammans) Sense 2 lagglans: (en av en uppsättning regler som styr en viss verksamhet eller ett rättsligt dokument som sätter fram en sådan regel; "det finns en lag mot kidnappning" ~, regel, preskriptionsglans: (preskrid guide för uppförande eller handling) =~ rättsligt instrument, ofl~icial dokument, instrument glans: (ett organ av regler för att agera som är inneboende i människans natur och väsentliga för eller bindande för det mänskliga samhället) ~, regel, preskription, preskription: (en guide guide guide guide för beteende eller förutsägning) rättsskipning: Iden lärda yrket som behärskas av forskarstudier i en juridikskola och som är ansvarig för rättssystemet; "han studerade juridik på Yale") :*. Inlärd yrkesglans: (ett av de tre yrken som traditionellt ansetts kräva avancerade [tjänande och höga principer) Vi sökte på lnternet, med AltaVista, för alla möjliga par V-N som kan skapas med hjälp av översyn och orden från likhetslistorna över lag. Över sju möjliga sinnen för detta substantiv, det första steget i vår metod indikerade följande ranking (vi anger antalet träffar mellan parenteser):law#e(2829),!aw#3(648), lag#4(640), lag#6(397), 1aw#1(224), 1aw#5(37), taw#7(0). Således är endast känslan #• och #3 i substantivlagen berättigade att användas för nästa algoritm. För var och en av de två sinnena i verbet bestämde vi subkontext, inklusive substantiven från glansen i verbets underhierarki, och tillhörande vikter. För var och en av substantivets två möjliga sinnen bestämde vi substantiven från varje sinnesklass. I tabell 3 presenterar vi: (1) Tester mot SemCor Vi testade denna metod genom att använda verb-noun par från SemCor. Ett slumpmässigt utvalt prov från hela tabellen med 80 par visas i tabell 4. För varje par verb-nomen anger vi verbets betydelse (kolumn B). Känslan av substantivet (kolumn C), som de är resultatet av SemCor; det totala antalet möjliga sinnen för båda verbet (kolumn D) 2Notationen #iln betyder sense i out of n possible. I I I I I I I I I I I I I I I I I I I I I I I I I I I I I dessa fall, bör NEAR operatören användas för det första steget i denna algoritm). 2. Utgångspunkten är följande: Antalet ord som beaktas vid en tidpunkt kan ökas, från två till tre, fyra eller ännu fler ord. I denna uppsats har vi presenterat en metod för WSD som bygger på att mäta den begreppsmässiga densiteten mellan ord med WordNet. Den föreslagna metrisken kan förbättras ytterligare genom att hänsyn tas till vikterna för verb och substantiv. Känslorna av orden rankas, och en användare kan välja det första valet eller de första få valen, beroende på ansökan. Vi har också föreslagit att använda Internet som en källa till statistik om en rå korpora. Metoden sträcker sig väl till att överväga mer än två ord i taget, och även för alla delar av talet som omfattas av WordNet. Det är svårt att jämföra den precision som erhålls genom denna metod med andra metoder, eftersom vi här betraktar den kollektiva betydelsen av två eller flera ord, medan de flesta andra metoder betraktar ett ord i taget. Men, en uppskattning kan göras genom att extrahera kvadratroten av noggrannheten för ett par verb-nomen ord; och det är 76,15% för det första valet, 83,66% för de första två valen och 85,44% för de första tre valen. Eftersom deambiguationsprecisionen för substantiv vanligtvis är högre än för verb, ger dessa tal bara ett genomsnitt. Sammanfattning Detta dokument beskriver en probabilistisk modell som bildas genom integration av en analytisk och empirisk komponent. Den analytiska komponenten är ett Bayesianskt nätverk från WordNet, och den empiriska komponenten består av kompatibla probabilistiska modeller formulerade från taggade träningsdata. Komponenterna är integrerade i en forreal, enhetlig ram baserad på semantik av orsakssamband. I dokumentet undersöks olika representationsfrågor som måste tas upp när man formulerar en Bayesian nätverk representation av lexical iaformation som den som uttrycks i WordNet. Dessa frågor är väsentliga för utformningen av ett sådant nätverk och de har inte tidigare undersökts. Vi beskriver två val för representation av lexiska objekt och två val för representation lexiska relationer. Effekten av varje kombination av val på bevisspridningen i nätverket diskuteras. Hänvisningar
Förkunskaper om sannolikheten för olika sinnen eller semantiska klasser härleds heuritiskt genom att skicka frågor (t.ex. stor orkan) till AltaVista sökmotor och extrapolera från antalet returnerade dokument frekvensen av adjektiv-noun par (se REF för detaljer om denna teknik).
Word Sense Disambiguation Based On Semantic Density
{'venue': 'Workshop On Usage Of WordNet In Natural Language Processing Systems', 'journal': None, 'mag_field_of_study': ['Computer Science']}