Ickelinjär komponentanalys såsom kärnan Principe Component Analysis (KPCA) och kärnan Canonical Correlation Analysis (KCCA) används i stor utsträckning i maskininlärning, statistik och dataanalys, och de fungerar som ovärderliga förbehandlingsverktyg för olika ändamål såsom dataprospektering, dimensionsreduktion och funktionsextraktion. Befintliga algoritmer för icke-linjär komponentanalys kan dock inte skala upp till miljontals datapunkter på grund av oöverkomliga beräknings- och minneskrav. Det finns några försök nyligen att skala upp kärnan version av komponentanalys med slumpmässiga approximationer. För att uppnå lösningar av hög kvalitet kan dock antalet slumpmässiga funktioner vara lika stort som antalet datapunkter, vilket gör att ett sådant tillvägagångssätt inte är direkt tillämpligt på systemet med miljontals datapunkter. Vi föreslår en enkel, beräkningseffektiv och minnesvänlig algoritm baserad på de "dubbelt stokastiska gradienterna" för att skala upp en rad av kärnickelinjär komponentanalys, såsom kärnan PCA, CCA, SVD och latent variabel modelluppskattning. Trots att dessa problem inte är konvexa kan vi ge teoretiska garantier för att algoritmen konvergerar i takten Õ(1/t) till det globala optimala, även för den översta k eigen subrymden. Vi demonstrerar effektiviteten och skalbarheten av vår algoritm på storskaliga syntetiska och verkliga datauppsättningar. Komponentanalys, särskilt huvudkomponentanalys (PCA) och korrelationskomponentanalys (CCA), är grundläggande och populära tekniker inom statistik, maskininlärning och dataanalys. De kan upptäcka viktiga funktioner och mönster i omärkta dataset, och därmed har många tillämpningar, såsom prospektering, visualisering, approximation och denoisering av data. Betydelsen av komponentanalys blir ännu viktigare under big datas tidevarv, eftersom extraktion av komponenter gör det möjligt för nedströmstillämpningar som klassificering och regression att utnyttja användbar information i stora datauppsättningar på ett beräkningseffektivt sätt. De flesta, om inte alla, storskaliga datauppsättningar har inbyggda icke-linjära strukturer, vilket leder till ökande intresse för kärnkomponentanalys, såsom kärnan PCA [28], kärnan SVD [8], kärnan CCA [1] och kärnan ICA [5]. Dessa metoder utökar komponentanalys till data som kartlagts till kärnans funktionsutrymme. Eftersom vektorerna i kärnans funktionsutrymme motsvarar ickelinjära funktioner i det ursprungliga utrymmet, möjliggör de exploatering av den ickelinjära strukturen, vilket gör det möjligt att minska den ickelinjära dimensionen eller upptäcka ickelinjära latenta komponenter. Detta är avgörande för komplexa data som text och bilder, som finns i överflöd idag. Tillämpbarheten av kärnkomponentanalys på storskaliga datauppsättningar har dock varit begränsad på grund av oöverkomlig beräkning och minneskrav. Nyligen, metoder som Randomized Component Analysis [19] kan skala till större datauppsättningar genom att utnyttja slumpmässiga egenskaper approximation. Sådana metoder approximerar kärnans funktion genom att använda explicita slumpmässiga funktionskartläggningar. Efterföljande komponentanalys
REF föreslog en stokastisk algoritm baserad på den Lagrangianska formuleringen av CCA-målet.
Scale Up Nonlinear Component Analysis with Doubly Stochastic Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}