Vi introducerar en ny, effektiv, principiell och backpropagation-kompatibel algoritm för att lära sig en sannolikhetsfördelning på vikterna i ett neuralt nätverk, som kallas Bayes by Backprop. Det reglerar vikterna genom att minimera en kompressionskostnad, känd som variationsfri energi eller den förväntade lägre gränsen på marginalsannolikheten. Vi visar att denna principiella typ av legalisering ger jämförbara resultat för avhopp från MNIST-klassificeringen. Vi visar sedan hur den inlärda osäkerheten i vikterna kan användas för att förbättra generaliseringen av icke-linjära regressionsproblem, och hur denna viktosäkerhet kan användas för att driva utforsknings-exploatering-avvägning i förstärkande lärande.
Blundell, m.fl. REF reglera vikterna genom att minimera en variationsfri energi.
Weight Uncertainty in Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}