Övergången från handgjorda funktioner till inlärda funktioner i maskininlärning har varit mycket framgångsrik. Trots detta är optimeringsalgoritmer fortfarande utformade för hand. I denna artikel visar vi hur utformningen av en optimeringsalgoritm kan gjutas som ett inlärningsproblem, så att algoritmen kan lära sig att utnyttja struktur i problem av intresse på ett automatiskt sätt. Våra lärda algoritmer, implementerade av LSTMs, överträffar generiska, handdesignade konkurrenter på de uppgifter som de utbildas för, och generaliserar också väl till nya uppgifter med liknande struktur. Vi visar detta på ett antal uppgifter, inklusive enkla konvexa problem, utbildning neurala nätverk, och styling bilder med neural konst.
I REF undersökte forskare automatiserade utformningen av en optimeringsalgoritm genom långtidsminnesdjupnätverk på ett antal uppgifter.
Learning to learn by gradient descent by gradient descent
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}