Abstract-Machine lärande, särskilt djupa neurala nätverk, har snabbt utvecklats inom områden som datorseende, taligenkänning och förstärkning lärande. Även om Minibatch SGD är en av de mest populära stokastiska optimeringsmetoden för att träna djupa nätverk, visar det en långsam konvergens på grund av det stora bullret i lutning approximation. I detta dokument försöker vi att åtgärda detta problem genom att bygga mer effektiva batch urvalsmetod baserad på typiska provtagning, vilket minskar felet i gradient uppskattning i konventionella Minibatch SGD. Vi analyserar konvergenshastigheten för den resulterande typiska batch SGD algoritm, och jämför konvergens egenskaper mellan Minibatch SGD och algoritmen. Experimentella resultat visar att vårt system för partiurval fungerar bra och mer komplexa Minibatch SGD-varianter kan dra nytta av den föreslagna strategin för partiurval.
REF bygger en effektivare metod för partiurval baserad på typiska provtagningar, där typen uppskattas av varje provs densitet.
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
{'venue': 'IEEE transactions on neural networks and learning systems', 'journal': 'IEEE transactions on neural networks and learning systems', 'mag_field_of_study': ['Computer Science', 'Mathematics', 'Medicine']}