Abstract-Topic Modelling är en metod som används för automatisk förståelse och klassificering av data i en mängd olika miljöer, och kanske den kanoniska tillämpningen är att avslöja tematisk struktur i en corpus av dokument. Ett antal grundläggande arbeten både inom maskininlärning [17] och i teorin [30] har föreslagit en probabilistisk modell för dokument, där dokument uppstår som en konvex kombination av (dvs. distribution på) ett litet antal ämne vektorer, varje ämne vektor är en distribution på ord (dvs. En vektor för ordfrekvenser. Liknande modeller har sedan dess använts inom en mängd olika tillämpningsområden; Latent Dirichlet Allocation eller LDA-modellen av Blei et al. är särskilt populär. Teoretiska studier av ämnesmodellering fokuserar på att lära sig modellens parametrar förutsatt att data faktiskt genereras från den. Befintliga metoder för det mesta förlitar sig på Singular Value Decomposition (SVD), och har följaktligen en av två begränsningar: dessa verk måste antingen anta att varje dokument innehåller bara ett ämne, eller annars kan bara återställa spännvidden för ämnet vektorer i stället för ämnet vektorer själva. Detta papper rättfärdigar formellt Nonnegative Matrix Factorization (NMF) som ett huvudverktyg i detta sammanhang, som är en analog av SVD där alla vektorer är icke-negativa. Med hjälp av detta verktyg ger vi den första polynom-tid algoritm för att lära sig ämnesmodeller utan ovanstående två begränsningar. Algoritmen använder ett ganska milt antagande om den underliggande ämnesmatrisen som kallas separerbarhet, som vanligtvis finns att hålla i verkliga data. Den kanske mest attraktiva egenskapen hos vår algoritm är att den generaliserar till ännu mer realistiska modeller som innehåller ämnestopiska korrelationer, såsom Correlated Topic Model (CTM) och Pachinko Allocation Model (PAM). Vi hoppas att denna uppsats kommer att motivera ytterligare teoretiska resultat som använder NMF som ersättning för SVD - precis som NMF har kommit att ersätta SVD i många tillämpningar.
Dessutom ger REF resultat för vissa korrelerade ämnesmodeller.
Learning Topic Models -- Going beyond SVD
{'venue': '2012 IEEE 53rd Annual Symposium on Foundations of Computer Science', 'journal': '2012 IEEE 53rd Annual Symposium on Foundations of Computer Science', 'mag_field_of_study': ['Mathematics', 'Computer Science']}