Vi utforskar en nyligen föreslagen Variational Dropout teknik som gav en elegant Bayesian tolkning till Gaussian Dropout. Vi utökar Variational Dropout till fallet när dropout hastigheter är obundna, föreslå ett sätt att minska variansen av gradient uppskattningen och rapportera första experimentella resultat med individuella dropout hastigheter per vikt. Intressant nog leder det till extremt glesa lösningar både i fullt sammankopplade och konvolutionella skikt. Denna effekt liknar den automatiska relevansbestämningseffekten i empiriska Bayes men har ett antal fördelar. Vi minskar antalet parametrar upp till 280 gånger på LeNet-arkitekturer och upp till 68 gånger på VGG-liknande nätverk med försumbar noggrannhet.
REF visar att variationsdroppar som tillåter oändliga varianser resulterar i gleshet, vars effekt liknar automatisk relevansbestämning (ARD).
Variational Dropout Sparsifies Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}