Kommunikationskostnader, till följd av synkronisering krav under lärande, kan kraftigt sakta ner många parallella maskininlärning algoritmer. I detta dokument presenterar vi en parallell Markov kedja Monte Carlo (MCMC) algoritm i vilken undergrupper av data behandlas självständigt, med mycket lite kommunikation. Först partitionerar vi godtyckligt data på flera maskiner. Därefter, på varje maskin, kan alla klassiska MCMC-metoder (t.ex. Gibbs-provtagning) användas för att ta prover från en senare fördelning med hänsyn till dataundergruppen. Slutligen kombineras proverna från varje maskin för att bilda prover från hela den bakre delen. Denna pinsamt parallella algoritm gör det möjligt för varje maskin att agera självständigt på en delmängd av data (utan kommunikation) fram till den sista kombinationsfasen. Vi bevisar att vår algoritm genererar asymptotiskt exakta prover och empiriskt visar sin förmåga att parallellisera burn-in och provtagning i flera modeller. Denna förordning träder i kraft den tjugonde dagen efter det att den har offentliggjorts i Europeiska unionens officiella tidning.
REF presenterade en parallell MCMC algoritm som kräver lite kommunikation men fortfarande upprätthåller asymptotisk korrekthet.
Asymptotically Exact, Embarrassingly Parallel MCMC
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}