Oförutsedd inlärning av språklig struktur är ett svårt problem. Ett gemensamt tillvägagångssätt är att definiera en generativ modell och maximera sannolikheten för den dolda strukturen med tanke på observerade data. Vanligtvis görs detta med hjälp av maximal-likelihood uppskattning (MLE) av modellparametrarna. Vi visar med hjälp av del-av-tal taggning att en helt Bayesian strategi kan avsevärt förbättra prestanda. I stället för att uppskatta en enda uppsättning parametrar integrerar Bayesian-metoden alla möjliga parametervärden. Denna skillnad säkerställer att den lärda strukturen kommer att ha hög sannolikhet över en rad möjliga parametrar, och tillåter användning av tidigare gynnar de glesa distributioner som är typiska för naturligt språk. Vår modell har strukturen av en standard trigram HMM, men dess noggrannhet är närmare den av en state-of-the-art discriminative modell (Smith och Eisner, 2005), upp till 14 procentenheter bättre än MLE. Vi hittar förbättringar både när vi tränar enbart från data, och med hjälp av ett tagglexikon.
Baserat på en standard trigram HMM, Goldwarter och Griffiths REF använda en helt Bayesian strategi och användningen av tidigare är tillåten.
A fully Bayesian approach to unsupervised part-of-speech tagging
{'venue': '45th Annual Meeting of the Association of Computational Linguistics', 'journal': None, 'mag_field_of_study': ['Computer Science']}