Vi föreslår en multi-wing harmonium modell för gruvdrift multimedia data som utökar och förbättrar på tidigare modeller baserade på två lager slumpmässiga fält, som fångar dubbelriktade beroenden mellan dolda ämnesaspekter och observerade ingångar. Denna modell kan ses som en oriktad motsvarighet till de tvåskiktsstyrda modellerna, t.ex. LDA för liknande uppgifter, men har betydande skillnader i inferens/inlärningskostnader, latenta ämnesrepresentationer och mekanismer för ämnesmixning. I synnerhet underlättar vår modell effektiv slutledning och robust ämnesblandning, och ger potentiellt hög flexibilitet vid modellering av latenta ämnesytor. En kontrasterande divergens och en variationsalgoritm härleds för lärande. Vi specialiserade vår modell till ett dual-wing harmonium för bildtexter, som innehåller en multivariat Poisson för ordräkningar och en multivariat Gaussian för färghistogram. Vi presenterar empiriska resultat om tillämpningen av denna modell på klassificering, hämtning och bildanmärkning på nyhetsvideosamlingar, och vi rapporterar en omfattande jämförelse med olika extanta modeller.
Xing m.fl. REF bygger en gemensam modell för att integrera bilder och text, som kan ses som ett oriktat tillägg till LDA.
Mining Associated Text and Images with Dual-Wing Harmoniums
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}