Markov kedjan Monte Carlo (MCMC) är ett populärt och framgångsrikt verktyg för Bayesian inference. MCMC kan dock i praktiken inte tillämpas på stora datamängder på grund av den oöverkomliga kostnaden för att utvärdera varje trolig term vid varje iteration. Här presenterar vi Firefly Monte Carlo (FlyMC) en hjälpvariabel MCMC algoritm som bara ifrågasätter sannolikheten för en potentiellt liten delmängd av data vid varje iteration men simulerar från den exakta bakre fördelningen, i motsats till de senaste förslagen som är ungefärliga även i den asymptotiska gränsen. FlyMC är kompatibelt med ett brett utbud av moderna MCMC-algoritmer och kräver endast en lägre gräns på sannolikhetsfaktorerna per datum. I experiment finner vi att FlyMC genererar prover från den bakre mer än en storleksordning snabbare än vanlig MCMC, vilket öppnar upp MCMC-metoder för större datauppsättningar än vad som tidigare ansågs möjligt. Bayesian tillvägagångssätt för probabilistisk modellering är tilltalande av flera skäl: den generativa ramen gör det möjligt att skilja ut modellering antaganden från inferens förfaranden, outputs inkluderar uppskattningar av osäkerhet som kan användas för beslutsfattande och förutsägelse, och det ger tydliga sätt att utföra modellval och komplexitetskontroll. Tyvärr är det helt bayerska tillvägagångssättet för modellering ofta mycket datoriskt utmanande. Det är ovanligt att icke-triviala modeller av verkliga data har slutna bakdelar. I stället använder man ungefärlig slutledning via Monte Carlo, variabla approximationer, Laplace approximationer eller andra verktyg. En av de ständiga utmaningarna för Bayesian beräkning är att konsekventa förfaranden för slutledning verkar kräva granskning av alla data för att utvärdera en ny hypotes om parametrar eller latenta variabler. Till exempel, när utföra Metropolis-Hastings (MH), är det nödvändigt att utvärdera målet bakre densitet för varje föreslagen parameter uppdatering, och denna bakre kommer vanligtvis att innehålla en faktor för varje datum. På samma sätt måste typiska olika Bayesianska förfaranden bygga lokala approximationer för var och en av uppgifterna för att uppdatera approximationen till alla globala parametrar. I båda fallen kan det vara nödvändigt att utföra dessa dataintensiva beräkningar många gånger som en del av ett iterativt förfarande. Nya metoder har föreslagits för att delvis övervinna dessa svårigheter. Stochastic och online variations approximation förfaranden (Hoffman et al., 2010 (Hoffman et al.,, 2013 kan använda delmängder av data för att göra approximationer till globala parametrar. Eftersom dessa förfaranden är optimeringar, är det möjligt att bygga på konvergensresultat från den stokastiska optimeringslitteraturen och uppnå garantier på den resulterande approximationen. För Markov-kedjan Monte Carlo är situationen något murkigare. Det senaste arbetet har övervägt hur undergrupper av data kan användas för att approximera den idealiska övergångsoperatören för Metropolis-Hastings (MH) och relaterade algoritmer (Welling och Teh, 2011). Korattikara m.fl. (2014) och Bardenet et al. (2014) har nyligen visat att sådana ungefärliga MH-rörelser kan leda till stationära fördelningar som är ungefärliga men som har begränsat fel, om än under starka förhållanden av snabb blandning. I detta dokument presenterar vi en Markov kedja Monte Carlo algoritm, Firefly Monte Carlo (FlyMC), som är i linje med dessa senare ansträngningar att utnyttja delmängder av data för att konstruera övergångsoperatörer.
REF presenterar en hjälpvariabel MCMC algoritm som frågar sannolikheten för en liten delmängd men uppnår exakt bakre fördelning.
Firefly Monte Carlo: Exact MCMC with Subsets of Data
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}