Den allmänna uppfattningen är att kärnmetoder inte är skalbara, och neurala nät är de valda metoderna för storskaliga icke-linjära inlärningsproblem. Eller har vi helt enkelt inte försökt tillräckligt hårt för kärnmetoder? Här föreslår vi ett tillvägagångssätt som skalar upp kärnmetoder med hjälp av ett nytt koncept som kallas "dubbelt stokastiska funktionella gradienter". Vår strategi bygger på det faktum att många kärnmetoder kan uttryckas som konvexa optimeringsproblem, och vi löser problemen genom att göra två opartiska stokastiska approximationer till den funktionella gradienten, en med hjälp av slumpmässiga träningspunkter och en annan med hjälp av slumpmässiga funktioner associerade med kärnan, och sedan ned med hjälp av denna bullriga funktionella gradient. Vår algoritm är enkel, behöver inte binda sig till ett förinställt antal slumpmässiga funktioner, och tillåter flexibiliteten i funktionsklassen att växa som vi ser mer inkommande data i strömmande inställning. Vi visar att en funktion som lärts genom detta förfarande efter iterationer konvergerar till den optimala funktionen i den reproducerande kärnan Hilbert utrymme i takt O(1/t), och uppnår en generalisering prestanda av O(1/ ε t). Vårt tillvägagångssätt kan enkelt skala kärnmetoder upp till de regimer som domineras av neurala nät. Vi visar att vår metod kan uppnå konkurrenskraftiga prestanda till neurala nät i dataset såsom 2,3 miljoner energimaterial från MolecularSpace, 8 miljoner handskrivna siffror från MNIST, och 1 miljon bilder från ImageNet med hjälp av convolution funktioner. ArXiv:1407.5599v3 [cs.LG] 23 Sep 2014 (i) egenskapen av stokastisk lutning nedstigning algoritm som så länge den stokastiska lutningen är opartisk, konvergensen av algoritmen garanteras [15] ; och (ii) egenskapen pseudo-random nummergeneratorer att de slumpmässiga proven kan i själva verket helt bestämmas av ett initialt värde (ett frö). Vi utnyttjar dessa egenskaper och möjliggör kärnmetoder för att uppnå bättre balans mellan beräkning, minne och statistik. Vår metod kombinerar intressant kärnmetoder, funktionell analys, stokastisk optimering och algoritmiskt trick, och den har ett antal desiderata: Generalitet och enkelhet. Vårt tillvägagångssätt gäller många kärnmetoder, såsom kärnkam regression, stödvektormaskiner, logistisk regression, tvåprovstest, och många olika typer av kärnor, såsom skiftinvarianta kärnor, polynomkärnor, allmänna inre produktkärnor, och så vidare. Algoritmen kan sammanfattas i bara några rader kod (Algoritm 1 och 2). För ett annat problem och kärna, behöver vi bara
Mer relevant för vårt arbete är att man kan visa att optimeringsmetoden i REF kan åberopas när kärnan kan uppskattas med slumpmässiga funktioner.
Scalable Kernel Methods via Doubly Stochastic Gradients
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}