Abstrakt. Vi diskuterar Bayesian metoder för modellgenomsnitt och modellval bland Bayesian-nätverk modeller med dolda variabler. I synnerhet undersöker vi approximationer av stora prover för den marginella sannolikheten för naiva modeller av Bayes där rotnoden är dold. Sådana modeller är användbara för klusterbildning eller oövervakat lärande. Vi anser en Laplace approximation och den mindre exakta men mer beräkningseffektiva approximationen känd som Bayesian Information Criterion (BIC), som motsvarar Rissanens (1987) Minimum Description Length (MDL). Vi anser också att approximationer som ignorerar vissa icke-diagonala element i den observerade informationsmatrisen och en approximation som föreslagits av Cheeseman och Stutz (1995). Vi utvärderar exaktheten av dessa approximationer med hjälp av en Monte-Carlo guld standard. I experiment med artificiella och verkliga exempel, finner vi att (1) ingen av approximationer är korrekta när de används för modellgenomsnitt, (2) alla approximationer, med undantag av BIC/MDL, är korrekta för modellurval, (3) bland de exakta approximationer, Cheeseman-Stutz och Diagonal approximationer är de mest beräkningseffektiva, (4) alla approximationer, med undantag av BIC/MDL, kan vara känsliga för tidigare fördelning över modellparametrar, och (5) Cheeseman-Stutz approximationen kan vara mer exakt än andra approximationer, inklusive Laplace approximation, i situationer där parametrarna i den maximala en posteriori konfiguration är nära en gräns.
REF fann att BIC skulle fungera rimligt för modellval och bekräftad överlägsenhet för AutoClass jämfört med BIC för modellgenomsnitt.
Efficient Approximations for the Marginal Likelihood of Bayesian Networks with Hidden Variables
{'venue': 'Machine Learning', 'journal': 'Machine Learning', 'mag_field_of_study': ['Mathematics', 'Computer Science']}