Vi ger två grundläggande resultat på populationen (infinita-prov) sannolikhet funktion Gaussian blandning modeller med M ≥ 3 komponenter. Vårt första huvudresultat visar att befolkningssannolikheten fungerar dåligt lokalt maxima även i specialfallet av lika viktade blandningar av väl separerade och sfäriska Gaussians. Vi bevisar att logsannolikheten hos dessa dåliga lokala maxima kan vara godtyckligt sämre än hos någon global optimal och därmed lösa en öppen fråga om Srebro [21]. Vårt andra huvudresultat visar att EM-algoritmen (eller en första ordningens variant av den) med slumpmässig initiering kommer att konvergera till dåliga kritiska punkter med sannolikhet minst 1 − e −.(M). Vi konstaterar vidare att en första ordningens variant av EM inte kommer att konvergera till stränga sadelpunkter nästan säkert, vilket tyder på att den dåliga prestandan hos första ordningen metoden kan tillskrivas förekomsten av dåliga lokala maxima snarare än dåliga sadelpoäng. Sammantaget belyser våra resultat nödvändigheten av noggrann initiering vid användning av EM-algoritmen i praktiken, även när den tillämpas i mycket gynnsamma miljöer.
Dessutom visar REF att EM kan misslyckas med att konvergera under GMM med k ≥ 3 komponenter på grund av förekomsten av dåliga lokala minima.
Local Maxima in the Likelihood of Gaussian Mixture Models: Structural Results and Algorithmic Consequences
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}