Vi föreslår en oövervakad segmenteringsmetod baserad på ett antagande om språkdata: att den ökande punkten för entropi av på varandra följande tecken är platsen för en ordgräns. Ett storskaligt experiment utfördes med hjälp av 200 MB osegmenterade träningsdata och 1 MB testdata, och precision på 90 % uppnåddes med ett återkallande på cirka 80 %. Dessutom fann vi att precisionen var stabil på cirka 90% oberoende av storleken på inlärningsdata.
Jin och Tanaka-Ishii REF föreslår en oövervakad ordsegmenteringsalgoritm som baseras på entropi av på varandra följande tecken vid ordgränser.
Unsupervised Segmentation Of Chinese Text By Use Of Branching Entropy
{'venue': 'International Conference On Computational Linguistics And Annual Meeting Of The Association For Computational Linguistics - Poster Sessions', 'journal': None, 'mag_field_of_study': ['Computer Science']}