Detta dokument beskriver en högpresterande provtagningsarkitektur för slutsatser av latenta ämnesmodeller på ett kluster av arbetsstationer. Vårt system är snabbare än tidigare arbete över en storleksordning och det kan hantera hundratals miljoner dokument och tusentals ämnen. Algoritmen bygger på en ny kommunikationsstruktur, nämligen användningen av en distribuerad (nyckel, värde) lagring för att synkronisera provtagningstillståndet mellan datorer. Vår arkitektur undanröjer helt behovet av separata beräknings- och synkroniseringsfaser. Istället används disk, CPU och nätverk samtidigt för att uppnå hög prestanda. Vi visar att denna arkitektur är helt allmän och att den enkelt kan utvidgas till mer sofistikerade latenta variabla modeller som n-gram och hierarkier.
Smola och Narayanamurthy utvecklade en effektiv arkitektur för parallell LDA inference REF, med hjälp av en distribuerad (nyckel, värde) lagring för synkronisering av tillståndet för sampler mellan maskiner.
An Architecture for Parallel Topic Models
{'venue': 'PVLDB', 'journal': 'PVLDB', 'mag_field_of_study': ['Computer Science']}