Vi presenterar "Factorbird", en prototyp av en parameter server metod för att faktorisera stora matriser med Stochastic Gradient Descent-baserade algoritmer. Vi designade Factorbird för att möta följande desiderata: (a) skalbarhet till höga och breda matriser med dussintals miljarder icke-noll, (b) extensibilitet till olika typer av modeller och förlustfunktioner så länge de kan optimeras med hjälp av Stochastic Gradient Descent (SGD), och (c) anpassning till både batch och streaming scenarier. Factorbird använder en parameterserver för att skala till modeller som överskrider minnet av en enskild maskin, och använder lockfri Hogwild!-stil lärande med en särskild partitioneringsschema för att drastiskt minska motstridiga uppdateringar. Vi diskuterar även andra aspekter av utformningen av vårt system, till exempel hur man effektivt söker efter hyperparametrar i skala. Vi presenterar experiment av Factorbird på en matris byggd från en delmängd av Twitters interaktionsgraf, bestående av mer än 38 miljarder non-nolls och cirka 200 miljoner rader och kolumner, vilket är den största matrisen på vilken faktoriseringsresultat har rapporterats i litteraturen.
Factorbird använder en parameterserver för att skala modeller som överskrider minnet av en enskild maskin, och använder en låsfri Hogwild!-stil lärande med en särskild partitionering system för att drastiskt minska motstridiga uppdateringar REF.
Factorbird - a Parameter Server Approach to Distributed Matrix Factorization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}