I dokumentet presenteras ett entropibaserat tillvägagångssätt för att segmentera en corpus i ord, när ingen ytterligare information om corpus eller språket, och inga andra resurser som t.ex. en lexikon eller grammatik finns tillgängliga. För att segmentera corpus, algoritmen söker efter separatorer, utan att veta en priory genom vilka symboler de bildas. Bra resultat kan erhållas med korpora som innehåller "tydligt märkbara" separatorer som blank eller ny linje.
Kempe REF beskriver en teknik för att segmentera en corpus i ord utan information om språket eller corpus, och ingen lexikon eller grammatikinformation.
Experiments In Unsupervised Entropy-Based Corpus Segmentation
{'venue': 'Workshop On Computational Natural Language Learning CoNLL', 'journal': None, 'mag_field_of_study': ['Computer Science']}