Stochastic Gradient Descent (SGD) metoder som använder slumpmässigt utvalda satser används i stor utsträckning för att träna neurala nätverk (NN) modeller. Utföra design prospektering för att hitta den bästa NN för en viss uppgift kräver ofta omfattande utbildning med olika modeller på en stor datauppsättning, vilket är mycket beräkning dyrt. Den enklaste metoden för att påskynda denna beräkning är att distribuera parti SGD över flera processorer. För att hålla de distribuerade processorer fullt utnyttjade kräver motsvarande växa batch storlek; dock, stora batch träning ofta leder till försämring i noggrannhet, dålig generalisering, och även dålig robusthet mot motgångar attacker. Befintliga lösningar för stor sats utbildning antingen avsevärt försämra noggrannhet eller kräver massiv hyper-parameter tuning. För att ta itu med denna fråga föreslår vi en ny stor sats utbildningsmetod som kombinerar nya resultat i kontradiktorisk utbildning (för att regularisera mot "skarp minima") och andra ordningen optimering (för att använda krökningsinformation för att ändra satsstorlek adaptivt under utbildning). Vi utvärderar i stor utsträckning vår metod på Cifar-10/100, SVHN, TinyImageNet och ImageNet dataset, med hjälp av flera NNs, inklusive resterande nätverk samt mindre nätverk för mobila applikationer som SqueezeNext. Vårt nya tillvägagångssätt överträffar prestandan hos de befintliga lösningarna både i fråga om noggrannhet och antal SGD iterationer (upp till 1% respektive 5×). Vi betonar att detta uppnås utan någon ytterligare hyperparameterinställning för att skräddarsy vår föreslagna metod i något av dessa experiment.
I REF utforskades vidare hur man kan använda andra ordningens information och kontradiktorisk utbildning för att kontrollera bullret för utbildning av stora satsstorlekar.
Large batch size training of neural networks with adversarial training and second-order information
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}