Kernelmetoder är grundläggande verktyg i maskininlärning som gör det möjligt att upptäcka icke-linjära beroenden mellan data utan att uttryckligen konstruera vektorer i högdimensionella utrymmen. En stor nackdel med kärnmetoder är deras dåliga skalbarhet: primitiva som kärn-PCA eller kärnkam regression tar i allmänhet oöverkomligt stort kvadratiskt utrymme och (åtminstone) kvadratisk tid, eftersom kärnmatriser vanligtvis är täta. Vissa metoder för att påskynda kärnans linjära algebra är kända, men de tar alltid tid exponentiellt i antingen dimensionen av inmatningspunkten uppsättning (t.ex., snabba multipole metoder lider av förbannelsen av dimensionalitet) eller i graden av kärnan funktion. Omedveten skissning har dykt upp som en kraftfull strategi för att påskynda den numeriska linjära algebran under det senaste decenniet, men vår förståelse av omedvetna skisslösningar för kärnmatriser har förblivit ganska begränsad, lider av den tidigare nämnda exponentiella beroendet av inmatningsparametrar. Vårt huvudsakliga bidrag är en allmän metod för att tillämpa skisslösningar utvecklade i numerisk linjär algebra under det senaste decenniet till en tensering av datapunkter utan att bilda tenseringen explicit. Detta leder till den första glömska skissen för polynomkärnan med en måldimension som endast är polynomiskt beroende av kärnans funktionsgrad, samt den första glömska skissen för Gaussiska kärnan på avgränsade datauppsättningar som inte lider av ett exponentiellt beroende av dimensionaliteten hos inmatningsdatapunkter.
REF förbättrades på detta resultat och kunde bädda in Gaussian kärnan i Euclidean utrymme med en måldimension som inte är exponentiellt i dimensionen av datauppsättningen.
Oblivious Sketching of High-Degree Polynomial Kernels
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}