Lära sig att lära har framgått som en viktig riktning för att uppnå artificiell intelligens. Två av de främsta hindren för dess antagande är en oförmåga att skala till större problem och en begränsad förmåga att generalisera till nya uppgifter. Vi introducerar en lärd lutning nedstigning optimerare som generaliserar väl till nya uppgifter, och som har avsevärt minskat minne och beräkning overhead. Vi uppnår detta genom att introducera en ny hierarkisk RNN-arkitektur, med minimal perparameter över huvudet, förstärkt med ytterligare arkitektoniska funktioner som speglar den kända strukturen av optimeringsuppgifter. Vi utvecklar också en metaträningsensemble av små, mångsidiga optimeringsuppgifter som fångar upp vanliga egenskaper hos förlustlandskap. Optimatorn lär sig att överträffa RMSProp/ADAM på problem i denna corpus. Ännu viktigare, det utför jämförelsevis eller bättre när tillämpas på små konvolutionella neurala nätverk, trots att se inga neurala nätverk i sin meta-träning uppsättning. Slutligen generaliserar det att träna Inception V3 och ResNet V2 arkitekturer på ImageNet dataset för tusentals steg, optimeringsproblem som är av en helt annan skala än de som det utbildades på. Vi släpper en öppen källkodsimplementering av metaträningsalgoritmen.
I REF föreslås en hierarkisk RNN-arkitektur för att lära sig optimerare som ska skalas väl för att optimera ett stort antal parametrar (högdimensionellt ingångsutrymme).
Learned Optimizers that Scale and Generalize
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}