Vi presenterar en strategi för att automatisera processen för att upptäcka optimeringsmetoder, med fokus på djupinlärning arkitekturer. Vi tränar en Recurrent Neural Network controller för att generera en sträng i ett domänspecifikt språk som beskriver en matematisk uppdatering ekvation baserad på en lista över primitiva funktioner, såsom lutning, kör genomsnitt av lutningen, etc. Styrenheten är tränad med Förstärkning Lärande för att maximera prestandan av en modell efter några epoker. På CIFAR-10 upptäcker vår metod flera uppdateringsregler som är bättre än många vanliga optimeringar, såsom Adam, RMSProp eller SGD med och utan Momentum på en ConvNet-modell. Vi introducerar två nya optimerare, PowerSign och AddSign, som vi visar överföring väl och förbättra utbildningen på en mängd olika uppgifter och arkitekturer, inklusive ImageNet klassificering och Googles neural maskinöversättningssystem.
På annat sätt föreslår REF att man lär sig bättre regler för uppdatering av lutningen baserat på ett domänspecifikt språk.
Neural Optimizer Search with Reinforcement Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}