Vi introducerar Adam, en algoritm för första ordningens gradientbaserad optimering av stokastiska objektiva funktioner. Metoden är enkel att genomföra och baseras på adaptiva uppskattningar av lägre ordning moment av gradienterna. Metoden är beräkningseffektiv, har små minneskrav och är väl lämpad för problem som är stora när det gäller data och/eller parametrar. Metoden är också lämplig för icke-stationära mål och problem med mycket bullriga och / eller glesa gradienter. Metoden uppvisar variation till diagonal skalning av gradienterna genom att anpassa sig till geometrin hos den objektiva funktionen. Hyper-parametrarna har intuitiva tolkningar och kräver vanligtvis lite inställning. Vissa kopplingar till relaterade algoritmer, som Adam inspirerades av, diskuteras. Vi analyserar också algoritmens teoretiska konvergensegenskaper och beklagar den konvergenshastighet som är jämförbar med de mest kända resultaten under online-ramverket för konvex optimering. Vi visar att Adam fungerar bra i praktiken och jämför gynnsamt med andra stokastiska optimeringsmetoder. * Lika lön. Författaren beställer bestäms av mynt vända över en Google Hangout.
Adam är den mest populära metoden eftersom det är beräkningseffektivt och kräver lite inställning REF.
Adam: A Method for Stochastic Optimization
{'venue': 'ICLR 2015', 'journal': 'arXiv: Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}