Flera resultat i ordet segmenteringslitteratur tyder på att beskrivningslängd ger en användbar uppskattning av segmenteringskvaliteten i helt oövervakade inställningar. Eftersom utrymmet för potentiella segmenteringar växer exponentiellt med längden på corpus, ingen dragbar algoritm följer direkt av minimibeskrivning längd (MDL) principen. Därför är det nödvändigt att generera en uppsättning kandidatsegment och välja mellan dem i enlighet med MDL-principen. Vi utvärderar flera algoritmer för att generera dessa kandidatsegmenteringar på en rad naturliga språk corpora, och visar att den Bootstrappade röstexperter algoritm konsekvent överträffar andra metoder när de paras med MDL.
Bootstrappade röstexperter algoritm paras med minsta beskrivningslängd används för ordsegmentering REF.
Fully Unsupervised Word Segmentation with BVE and MDL
{'venue': 'Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies', 'journal': None, 'mag_field_of_study': ['Computer Science']}