Max-marginal lärande är en kraftfull strategi för att bygga klassificeringar och strukturerade utdata prediktorer. Det senaste arbetet med max-marginal övervakade ämnesmodeller har framgångsrikt integrerat det med Bayesianska ämnesmodeller för att upptäcka diskriminerande latent semantiska strukturer och göra exakta förutsägelser för osedda testdata. De resulterande inlärningsproblemen är dock vanligtvis svåra att lösa på grund av att marginalförlusterna inte är smidiga. Befintliga metoder för att bygga Max-marginal övervakade ämnesmodeller bygger på ett iterativt förfarande för att lösa flera latenta SVM underproblem med ytterligare genomsnittliga fält antaganden om de önskade bakre fördelningarna. I detta dokument presenteras ett alternativt tillvägagångssätt genom att definiera en ny maximal marginalförlust. Nämligen presenterar vi Gibbs Max-marginal övervakade ämnesmodeller, en latent variabel Gibbs klassificerare för att upptäcka dolda ämne representationer för olika uppgifter, inklusive klassificering, regression och multi-task lärande. Gibbs max-marginal övervakade ämnesmodeller minimerar en förväntad marginalförlust, vilket är en övre gräns för den befintliga marginalförlusten som härleds från en förväntad prediktionsregel. Genom att introducera utökade variabler och integrera Dirichlet variabler analytiskt genom konjugacy, utvecklar vi enkla Gibbs provtagningsalgoritmer utan att begränsa antaganden och inget behov av att lösa SVM subproblem. Dessutom har varje steg i Gibbs samplingsalgoritm för "augment-and-collapse" en analytisk villkorlig fördelning, från vilken prover lätt kan tas. Experimentella resultat visar på betydande förbättringar av tidseffektiviteten. Klassificeringsprestandan är också avsevärt förbättrad jämfört med konkurrenterna på binära, multi-class och multi-label klassificering uppgifter.
Nyligen, Zhu et al. REF föreslår en Gibbs max-marginal ämnesmodell för att kombinera Gibbs klassificerare med LDA och visa framgångsrika resultat för dokumentanalys.
Gibbs Max-margin Topic Models with Data Augmentation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}