Ett viktigt arkitektoniskt beslut vid utformningen av en disambiguationsmodell för segmentering och POS-märkning (Del-of-Speech) på semitiska språk gäller valet av terminalsymboler för input-output över vilka sannolikhetsfördelningarna definieras. I denna uppsats utvecklar vi en segmenterare och en tagger för hebreiska baserade på dolda Markov modeller (HMMs). Vi utgår från en morfologisk analysator och en mycket liten morfologiskt kommenterad corpus. Vi visar att en modell vars terminalsymboler är ordsegment (=morfemer), är fördelaktig framför en ordnivåmodell för uppgiften att märka POS. Enbart för segmentering har morfem-nivåmodellen emellertid ingen betydande fördel jämfört med ordnivåmodellen. Felanalys visar att båda modellerna inte är tillräckliga för att lösa en vanlig typ av segmentering tvetydighet på hebreiska - vare sig ett ord i en skriven text är prefixed av en bestämdhet markör. Därför föreslår vi en morphemelevel modell där den definitiva morphememe behandlas som en möjlig egenskap hos morpheme terminaler. Denna modell uppvisar den bästa övergripande prestandan, både i POS-märkning och i segmentering. Trots den lilla storleken på de kommenterade corpus tillgängliga för hebreiska, de resultat som uppnåtts med hjälp av vår bästa modell är i nivå med de senaste resultaten på Modern Standard Arabiska.
REF använder dolda Markov-modeller (HMMs) för att implementera en segmenterare och en tagger för hebreiska.
Choosing An Optimal Architecture For Segmentation And POS-Tagging Of Modern Hebrew
{'venue': 'Workshop On Computational Approaches To Semitic Languages', 'journal': None, 'mag_field_of_study': ['Computer Science']}