Modeller av latent dokumentsemantik såsom blandningen av multinomial modell och Latent Dirichlet Tilldelning har fått stor uppmärksamhet för sin förmåga att upptäcka aktuella semantik i stora samlingar av text. I ett försök att tillämpa sådana modeller på bullriga optiska teckenigenkänning (OCR) textutmatning, strävar vi efter att förstå den effekt som teckennivå brus kan ha på oövervakad ämne modellering. Vi visar effekterna både med dokument-nivå ämnesanalys (dokument klustering) och med ord-nivå ämnesanalys (LDA) på både syntetiska och verkliga OCR-data. Som förväntat visar experimentella resultat att prestandan minskar i takt med att antalet ordfel ökar. Vanliga tekniker för att lindra dessa problem, såsom filtrering lågfrekventa ord, är framgångsrika när det gäller att förbättra modellens kvalitet, men uppvisar feltrender som liknar modeller som är utbildade på obehandlad OCR-utgång när det gäller LDA. Såvitt vi vet är denna studie den första i sitt slag.
Det senaste arbetet inom Ref är den första omfattande studien av dokumentkluster och LDA om syntetiska och verkliga uppgifter om optiskt teckenigenkänning (OCR).
Evaluating Models of Latent Document Semantics in the Presence of OCR Errors
{'venue': 'EMNLP', 'journal': None, 'mag_field_of_study': ['Computer Science']}