Automatisk del av talmärkning är ett område för naturlig språkbearbetning där statistiska metoder har varit mer framgångsrika än regelbaserade metoder. I denna uppsats presenterar vi en enkel regelbaserad del av taltagger som automatiskt förvärvar sina regler och taggar med exakthet jämförbar med stokastiska taggers. Den regelbaserade tagger har många fördelar jämfört med dessa taggers, inklusive: en stor minskning av lagrad information som krävs, perspicuity av en liten uppsättning av meningsfulla regler, lätt att hitta och genomföra förbättringar till tagger, och bättre överförbarhet från en tagg uppsättning, corpus genre eller språk till en annan. Det kanske största bidraget från detta arbete är att visa att den stokastiska metoden inte är den enda genomförbara metoden för en del av talmärkning. Det faktum att en enkel regelbaserad tagger som automatiskt lär sig sina regler kan fungera så bra bör uppmuntra forskare att ytterligare utforska regelbaserad taggning, söka efter en bättre och mer uttrycksfull uppsättning regelmallar och andra variationer på det enkla men effektiva tema som beskrivs nedan. Det har skett en dramatisk ökning av tillämpningen av probabilistiska modeller på behandling av naturligt språk under de senaste åren. Den stokastiska teknikens dragningskraft över traditionella regelbaserade tekniker kommer från den lätthet med vilken den nödvändiga statistiken automatiskt kan förvärvas och det faktum att mycket lite hantverksmässigt kunnande behöver byggas in i systemet. Däremot är reglerna i regelbaserade system vanligtvis svåra att konstruera och är vanligtvis inte särskilt robusta. Ett område där det statistiska tillvägagångssättet har gjort särskilt bra ifrån sig är den automatiska delen av talmärkning, genom att tilldela varje ord i en inmatningsmening dess rätta del av talet [Church 88; Cutting et al. 92 ] disambiguerar ord inom en deterministisk parser. Vi ville avgöra om en enkel regelbaserad tagger utan någon kunskap om syntax kan prestera såväl som en stokastisk tagger, eller om en del av talmärkning verkligen är en domän som stokastiska tekniker är bättre lämpade för. I denna artikel beskriver vi en regelbaserad tagger som presterar såväl som taggers baserade på probabilistiska modeller. Den regelbaserade taggern övervinner de begränsningar som är gemensamma för regelbaserade metoder för språkbehandling: den är robust och reglerna förvärvas automatiskt. Dessutom har taggern många fördelar jämfört med stokastiska taggers, inklusive: en stor minskning av lagrad information som krävs, perspicuity av en liten uppsättning av meningsfulla regler i motsats till de stora tabeller statistik som behövs för stokastiska taggers, lätt att hitta och genomföra förbättringar av tagger, och bättre överförbarhet från en tagg uppsättning eller corpus genre till en annan. Taggern fungerar genom att automatiskt erkänna och åtgärda sina svagheter och därigenom gradvis förbättra sin prestanda. Tagger initialt taggar genom att tilldela varje ord dess mest sannolika tagg, uppskattas genom att undersöka en stor taggad corpus, utan hänsyn till sammanhang. I båda meningarna nedan skulle körningen märkas som ett verb: 152
Ett sätt att ta itu med problemet med att märka delar av tal är att använda ett regelbaserat märkningssystem som REF.
A Simple Rule-Based Part Of Speech Tagger
{'venue': 'Applied Natural Language Processing Conference', 'journal': None, 'mag_field_of_study': ['Computer Science']}