Vi presenterar LDA *, ett system som har satts in i en av de största Internetföretag för att uppfylla sina krav på "topic modellering som en intern tjänst"-på tusentals maskiner, ingenjörer i olika sektorer skicka sina data, vissa är så stora som 1.8TB, till LDA * och få resultat tillbaka i timmar. LDA * motiveras av observationen att inget av de befintliga ämne modelleringssystem är robust nog-Varje av dessa befintliga system är utformad för en specifik punkt i avsättning utrymme som kan vara suboptimal, ibland med upp till 10×, över arbetsbelastningar. Vårt första bidrag är en systematisk studie av alla nyligen föreslagna provtagare: AliasLDA, F+LDA, LightLDA och WarpLDA. Vi upptäckte en ny systemväxling bland dessa provtagare. Varje provtagare har olika provtagning komplexitet och utför olika, ibland med 5×, på dokument med olika längder. Baserat på denna kompromiss utvecklade vi vidare en hybridprovtagare som använder olika provtagare för olika typer av dokument. Denna hybrid metod fungerar över ett brett utbud av arbetsbelastningar och överträffar den snabbaste provtagaren med upp till 2×. Vi fokuserade sedan på distribuerade miljöer där tusentals arbetare, var och en med olika prestanda (på grund av virtualisering och resursdelning), koordinerar för att träna en ämnesmodell. Vårt andra bidrag är en asymmetrisk parameterserverarkitektur som driver viss beräkning till parameterserverns sida. Denna arkitektur motiveras av ordfrekvensdistributionens skevhet och en ny kompromiss som vi upptäckte mellan kommunikation och beräkning. Med denna arkitektur överträffar vi den traditionella, symmetriska arkitekturen med upp till 2×. Med dessa två bidrag, tillsammans med en noggrant utformad implementering, vårt system kan överträffa befintliga system med upp till 10× och har redan körts för att tillhandahålla ämnesmodellering tjänster i mer än sex månader.
Tillsammans med andra toppmoderna LDA-provtagare införlivas detta arbete i LDA*, ett high-end-system som skalar LDA-utbildning till omfattande datauppsättningar, med hjälp av olika provtagare för olika typer av dokument REF.
LDA*: A Robust and Large-scale Topic Modeling System
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}