Vi har en stark koppling mellan PAC-bayesianska gränser och Bayesians marginella sannolikhet. Det vill säga, för den negativa log-likelihood förlust funktion, visar vi att minimeringen av PAC-bayesian generalization gränser maximerar Bayesian marginell sannolikhet. Detta ger en alternativ förklaring till Bayesian Occams rakhyvelkriterier, under antagandet att data genereras av en i.i.d. distribution. Dessutom, eftersom den negativa log-likelihood är en obegränsad förlust funktion, vi motivera och föreslå en PAC-Bayesian teorem skräddarsydd för sub-Gamma förlust familj, och vi visar att vår strategi är bra på klassiska Bayesian linjär regression uppgifter.
PAC-bayesianska gränser för NLL förlust funktion är intimt relaterade till lärande Bayesian inference REF.
PAC-Bayesian Theory Meets Bayesian Inference
{'venue': 'Advances in Neural Information Processing Systems 29 (NIPS 2016), p. 1884-1892', 'journal': None, 'mag_field_of_study': ['Computer Science', 'Mathematics']}