Ett effektivt sätt att lära sig modeller med djup densitet som har många lager av latenta variabler är att lära sig ett lager i taget med hjälp av en modell som bara har ett lager av latenta variabler. Efter att ha lärt sig varje lager används prover från de bakre distributionerna för det lagret som träningsdata för att lära sig nästa lager. Detta tillvägagångssätt används ofta med begränsade Boltzmann maskiner, som är oriktade grafiska modeller med ett enda dolt lager, men det kan också användas med blandningar av faktoranalysatorer (MFA) som är riktade grafiska modeller. I den här artikeln presenterar vi en girig lagervis inlärningsalgoritm för Djup Blandningar av faktoranalysatorer (DMFAs). Även om en DMFA kan omvandlas till en likvärdig grunt MFA genom att multiplicera tillsammans faktorn lastar matriser på olika nivåer, lärande och slutsatser är mycket mer effektiva i en DMFA och fördelningen av varje lägre nivå faktor lastning matris av många olika högre nivå MFA förhindrar övermontering. Vi visar empiriskt att DMFAs lär sig bättre densitetsmodeller än både MFA och två typer av begränsade Boltzmann Machine på ett brett utbud av dataset.
REF introducerar begreppet "aggregerad eftersida" som tillämpas på djupa blandningar av faktoranalysatorer (MFA).
Deep Mixtures of Factor Analysers
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}