Vi föreslår extrem stokastisk variationell inferens (ESVI), en asynkron och låsfri algoritm för att utföra variationell inferens på massiva verkliga datauppsättningar. Stochastic variational inference (SVI), den toppmoderna algoritmen för skalning variational inference till stora datauppsättningar, är i sig seriell. Dessutom kräver det parametrarna för att passa i minnet av en enda processor; detta är problematiskt när antalet parametrar är i miljarder. ESVI övervinner dessa begränsningar genom att kräva att varje processor endast får tillgång till en delmängd av datan och en delmängd av parametrarna, vilket ger data och modellparallalism samtidigt. Vi visar ESVI:s effektivitet genom att köra Latent Dirichlet Allocation (LDA) på UMBC-3B, en datauppsättning som har 3 miljoner ord i ordförrådet och 3 miljarder tokens. Såvitt vi vet är detta en storleksordning som är större än den största datauppsättning på vilken resultat med hjälp av variationsinferens har rapporterats i litteraturen. I våra experiment fann vi att ESVI överträffar VI och SVI, och också uppnår en bättre kvalitetslösning. Dessutom föreslår vi en strategi för att påskynda beräkningen och spara minne vid montering av ett stort antal ämnen.
För att undvika bulksynkronisering föreslår författarna i REF en asynkron och låsfri uppdatering.
Extreme Stochastic Variational Inference: Distributed and Asynchronous
{'venue': None, 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}