Människor kan påskynda sitt lärande genom att välja utbildningsmaterial som är mest informativa och på lämplig svårighetsgrad. Vi föreslår en ram för att sprida djupinlärning där en grupp arbetstagare söker efter de mest informativa exemplen parallellt medan en enda arbetstagare uppdaterar modellen på exempel som valts ut genom urval av betydelse. Detta leder till att modellen uppdateras med hjälp av en objektiv uppskattning av lutningen som också har minsta avvikelse när provtagningsförslaget är proportionellt mot lutningens L2-norm. Vi visar experimentellt att denna metod minskar gradientvariansen även i ett sammanhang där kostnaden för synkronisering mellan maskiner inte kan ignoreras, och där faktorerna för viktprovtagning inte uppdateras omedelbart över hela träningssetet.
REF minskar lutningsvariationen genom provtagningsförslaget i proportion till lutningens L2-norm.
Variance Reduction in SGD by Distributed Importance Sampling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}