Att utveckla effektiva och skalbara algoritmer för Latent Dirichlet Allocation (LDA) är av stort intresse för många tillämpningar. Tidigare arbete har utvecklat en O(1) Metropolis-Hastings (MH) provtagningsmetod för varje token. Dess prestanda är dock långt ifrån optimal på grund av frekventa cache missar orsakas av slumpmässiga åtkomst till parametern matriser. I den här artikeln analyserar vi först noggrant minnesåtkomstbeteendet hos befintliga algoritmer för LDA genom att cachelokalitet på dokumentnivå. Vi utvecklar sedan WarpLDA, som uppnår O(1) tids komplexitet per token och passar det slumpmässigt åtkomliga minnet per dokument i L3-cachen. Våra empiriska resultat i ett brett spektrum av testförhållanden visar att WarpLDA genomgående är 5-15x snabbare än den toppmoderna MH-baserade LightLDA, och är snabbare än den toppmoderna sparsamhetsmedvetna F+LDA i de flesta miljöer. Vår WarpLDA lär sig en miljon ämnen från 639 miljoner dokument på bara fem timmar vid en aldrig tidigare skådad överföring av 11 miljarder polletter per sekund.
REF skalar upp LDA genom WarpLDA algoritmen, som uppnår O(1) tids komplexitet pertoken och passar det slumpmässigt åtkomliga minnet per-dokument i L3-cachen.
WarpLDA: a Cache Efficient O(1) Algorithm for Latent Dirichlet Allocation
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science', 'Mathematics']}