Djup neurala nätverk utbildning spenderar större delen av beräkningen på exempel som hanteras korrekt, och kan ignoreras. Vi föreslår att minska detta fenomen med en principiellt viktig provtagningsplan som fokuserar beräkningen på "informativa" exempel, och minskar variationen i de stokastiska gradienterna under träningen. Vårt bidrag är tvåfaldigt: För det första får vi en dragbar övre gräns för varje provgradientnorm, och för det andra får vi en uppskattning av variansminskningen som uppnås med viktprovtagning, vilket gör det möjligt för oss att slå på den när det kommer att resultera i en faktisk hastighetsökning. Det resulterande systemet kan användas genom att ändra några rader kod i ett standard SGD-förfarande, och vi demonstrerar experimentellt, om bildklassificering, CNN finjustering, och RNN utbildning, att för en fast vägg-klocka tid budget, ger det en minskning av tågförluster upp till en storleksordning och en relativ förbättring av testfel mellan 5% och 17%.
REF optimerade utbildningen av CNN och RNN med viktig provtagning genom att beräkna en övre gräns för lutningen och uppskattningen för variansminskningen.
Not All Samples Are Created Equal: Deep Learning with Importance Sampling
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}