Flera första order stokastiska optimeringsmetoder som vanligen används i Euclidean domänen såsom stokastisk lutning nedstigning (SGD), accelererad lutning nedstigning eller varians reducerade metoder har redan anpassats till vissa Riemannska inställningar. Men några av de mest populära av dessa optimeringsverktyg - nämligen ADAM, ADAGRAD och de nyare AMSGRAD - återstår att generaliseras till Riemannska grenrör. Vi diskuterar svårigheten att generalisera sådana adaptiva system till den mest agnostiska Riemannian inställningen, och sedan ge algoritmer och konvergens bevis för geodesiskt konvexa mål i det särskilda fallet av en produkt av Riemannian grenrör, där anpassningsförmåga genomförs över flera grenar i den kartesiska produkten. Vår generalisering är tight i den meningen att valet av Euclidean utrymme som Riemannian grenrör ger samma algoritmer och ångra gränser som de som redan var kända för standardalgoritmer. Experimentellt visar vi snabbare konvergens och ett lägre tågförlustvärde för Riemannska adaptiva metoder över deras motsvarande baslinjer på den realistiska uppgiften att inbädda WordNet taxonomi i Poincaré bollen. Under granskning som konferensbidrag på ICLR 2019 Våra bidrag. I detta arbete förklarar vi (i) varför generalisering av dessa adaptiva system till den mest agnostiska Riemannska inställningen på ett inneboende sätt äventyras, och (ii) föreslå generaliseringar av algoritmerna tillsammans med deras konvergensanalys i det särskilda fallet av en produkt av grenrör där varje grenrör representerar en "koordinat" av adaptivsystemet. Slutligen stöder vi (iii) empiriskt våra påståenden om den realistiska uppgiften med hyperbolisk taxonomi. Vår första motivation. Den speciella tillämpning som motiverade oss att utveckla Riemannska versioner av ADAGRAD och ADAM var lärandet av symboliska inbäddningar i icke-Euklidiska utrymmen. Som ett exempel, GloVe algoritm (Pennington et al., 2014) - en oövervakad metod för att lära euklideiska ord inbäddningar fånga semantiska / syntaktiska relationer - drar stor nytta av optimering med ADAGRAD jämfört med att använda SGD, förmodligen eftersom olika ord provtas på olika frekvenser. Därför skulle avsaknaden av Riemannska adaptiva algoritmer kunna utgöra ett betydande hinder för utvecklingen av konkurrenskraftiga optimeringsbaserade Riemannska inbäddningsmetoder. I synnerhet anser vi att den senaste tidens ökning av inbäddningsmetoder i hyperboliska utrymmen
För en diskussion nyligen om generalisering av Euclideans adaptiva SGD-algoritmer, såsom Adam och Adagrad, till Riemannska grenrör, se REF.
Riemannian Adaptive Optimization Methods
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}