Vi beskriver och analyserar en enkel algoritm för huvudkomponentanalys, VR-PCA, som använder beräknings billigt stokastiska iterationer, men konvergerar exponentiellt snabbt till den optimala lösningen. Däremot lider befintliga algoritmer antingen av långsam konvergens, eller beräkningsintensiva iterationer vars skalor med datastorleken. Algoritmen bygger på en ny variansreducerad stokastisk gradientteknik, som tidigare analyserades för starkt konvex optimering, medan vi här tillämpar den på det icke-konvexa PCA-problemet, med hjälp av en mycket annorlunda analys.
Den första analysen för nonconvex varians reducerade stokastisk lutning beror på REF, som tillämpar det på det specifika problemet med huvudkomponentanalys (PCA).
A Stochastic PCA and SVD Algorithm with an Exponential Convergence Rate
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}