Abstrakt. Under det senaste årtiondet har datastorlekarna ökat snabbare än processorns hastighet. I detta sammanhang är kapaciteten hos statistiska maskininlärningsmetoder begränsad av datortiden snarare än provstorleken. En mer exakt analys avslöjar kvalitativt olika avvägningar när det gäller småskaliga och storskaliga inlärningsproblem. Det storskaliga fallet innebär beräknings komplexiteten hos den underliggande optimeringsalgoritmen på icke-triviala sätt. Osannolikt optimeringsalgoritmer som stokastisk lutning nedstigning visar fantastiska prestanda för storskaliga problem. I synnerhet andra ordningen stokastisk lutning och genomsnittlig stokastisk lutning är asymptotiskt effektiva efter ett enda pass på träningssetet.
En stokastisk lutning nedstigning algoritm föreslås av REF.
Large-scale machine learning with stochastic gradient descent
{'venue': 'in COMPSTAT', 'journal': None, 'mag_field_of_study': ['Computer Science']}