Många utövare som använder EM och relaterade al gorithms klagar över att de ibland är långsamma. När händer detta, och vad kan man göra åt det? I detta papper studerar vi den allmänna klassen av bundet optimering algoritmer-inklusive EM, Iterative Skalning, Non-negative Matrix Factorization, CCCP -och deras förhållande till direkt optimering algoritmer såsom gradientbaserade metoder för parameterinlärning. Vi har en allmän relation mellan de uppdateringar som utförs av bundna optimeringsmetoder och de av gradient och andra ordningen metoder och identifiera analytiska förhållanden under vilka bundna optimeringsalgoritmer uppvisar kvasi-Newton beteende, och under vilka de har dålig, första ordningen konvergens. Baserat på denna analys, anser vi att flera specifika algoritmer, inter pret och analysera deras konvergens egenskaper och ge några recept för förbearbetning input till dessa algoritmer för att ge snabbare konvergens vara havior. Vi rapporterar empiriska resultat som stödjer vår analys och visar att enkel förbehandling av data kan resultera i dramatiskt förbättrad prestanda för bundna optimatorer i praktiken.
Konvergensegenskaper hos sådana allmänna "bundna optimering" algoritmer har diskuterats av REF.
On the Convergence of Bound Optimization Algorithms
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}