Förväntning Maximering (EM) är bland de mest populära algoritmer för maximal sannolikhet uppskattning, men det är i allmänhet endast garanterat att hitta sina stationära punkter i log-likelihood målet. Målet med denna artikel är att presentera teoretiska och empiriska bevis för att överparameterisering kan hjälpa EM att undvika falska lokala optima i log-likelihood. Vi anser att problemet med att uppskatta medelvektorer för en Gaussisk blandning modell i ett scenario där blandningsvikter är kända. Vår studie visar att EM:s globala beteende, när man använder en överparameteriserad modell där blandningsvikterna behandlas som okända, är bättre än när man använder den (korrekta) modellen med blandningsvikterna som är fixerade vid de kända värdena. För symmetriska Gaussians blandningar med två komponenter, bevisar vi att införandet av (statistiskt överflödiga) viktparametrar gör det möjligt för EM att hitta den globala maximeraren av log-likelihood från nästan alla initiala genomsnittliga parametrar, medan EM utan denna överparameterisering kan mycket ofta misslyckas. För andra Gaussiska blandningar, vi ger empiriska bevis som visar liknande beteende. Våra resultat bekräftar värdet av överparameterisering för att lösa problem med icke-konvex optimering, som tidigare observerats inom andra områden.
REF visar att överparameterisering kan hjälpa Förväntning Maximering undvika falska lokala optima.
Benefits of over-parameterization with EM
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}