I detta dokument föreslås en snabb och enkel oövervakad ordsegmenteringsalgoritm som utnyttjar den lokala förutsägbarheten för angränsande teckensekvenser, samtidigt som man söker efter en minst ansträngd representation av data. Modellen använder grenning entropi som ett sätt att begränsa hypotesutrymmet, för att effektivt få en lösning som minimerar längden på en tvådelad MDL-kod. En utvärdering med corpora på japanska, thailändska, engelska och "CHILDES" corpus för forskning i språkutveckling visar att algoritmen uppnår en noggrannhet, jämförbar med den av de state-of-the-art metoder i oövervakad ordsegmentering, i en avsevärt förkortad beräkningstid.
Zhikov m.fl. REF utnyttjar den lokala förutsägbarheten av angränsande teckensekvenser, som är jämförbar med entropi.
An Efficient Algorithm for Unsupervised Word Segmentation with Branching Entropy and MDL
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}