Djupa neurala nätverk tränas vanligen med hjälp av stokastiska icke-konvexa optimeringsprocedurer, som drivs av gradient information uppskattas på fraktioner (batcher) av datasetet. Även om det är allmänt accepterat att batchstorlek är en viktig parameter för offline tuning, fördelarna med online-val av batch fortfarande dåligt förstådd. Vi undersöker online batch urvalsstrategier för två state-of-the-art metoder för stokastisk lutning-baserad optimering, AdaDelta och Adam. Eftersom den förlustfunktion som ska minimeras för hela datasetet är en aggregering av förlustfunktioner för enskilda datapunkter, bör intuitivt datapunkter med störst förlust beaktas (väljs i ett parti) oftare. Men begränsningarna i denna intuition och den rätta kontrollen av urvalstrycket över tiden är öppna frågor. Vi föreslår en enkel strategi där alla datapunkter rankas w.r.t. Deras senaste kända förlustvärde och sannolikheten att bli vald sönderfaller exponentiellt som en funktion av rang. Våra experimentella resultat på MNIST datasetet tyder på att valet av satser påskyndar både AdaDelta och Adam med en faktor på ca 5.
Till exempel, i REF ), en enkel batch urvalsstrategi baserad på förlust värden av utbildningsdata föreslås för att påskynda neurala nätverk utbildning.
Online Batch Selection for Faster Training of Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}