Morfologisk segmentering bryter orden i morfemer (de grundläggande semantiska enheterna). Det är en viktig komponent för naturliga språkbehandlingssystem. Oöverträffad morfologisk segmentering är attraktiv, eftersom det på alla språk finns praktiskt taget obegränsad tillgång till text, men mycket få märkta resurser. Men de flesta befintliga modellbaserade system för oövervakad morfologisk segmentering använder riktade generativa modeller, vilket gör det svårt att utnyttja godtyckliga överlappande funktioner som kan vara till hjälp för lärande. I detta dokument presenterar vi den första log-linjära modellen för oövervakad morfologisk segmentering. Vår modell använder överlappande funktioner som morphemes och deras sammanhang, och innehåller exponentiellt tidigare inspirerade av minsta beskrivande längd (MDL) princip. Vi presenterar effektiva algoritmer för lärande och slutledning genom att kombinera kontrasterande uppskattning med provtagning. Vårt system, baserat enbart på enspråkiga funktioner, överträffar ett toppmodernt system med stor marginal, även när det senare använder tvåspråkig information såsom frasal anpassning och fonetisk korrespondens. På den arabiska Penn Treebank minskar vårt system F1-fel med 11% jämfört med Morfessor.
REF tillämpar en log-lineär, oriktad generativ modell för att lära sig den arabiska och hebreiska morfologin.
Unsupervised Morphological Segmentation with Log-Linear Models
{'venue': 'HLT-NAACL', 'journal': None, 'mag_field_of_study': ['Computer Science']}