Djupt lärande verktyg har fått enorm uppmärksamhet i tillämpad maskininlärning. Sådana verktyg för regression och klassificering fångar dock inte upp modellosäkerheten. Som jämförelse erbjuder Bayesian modeller en matematiskt grundad ram för att resonera om modellosäkerhet, men vanligtvis kommer med en oöverkomlig beräkningskostnad. I denna uppsats utvecklar vi en ny teoretisk ram gjutning dropout utbildning i djupa neurala nätverk (NNs) som ungefärlig Bayesian slutsats i djupa Gaussiska processer. Ett direkt resultat av denna teori ger oss verktyg för att modellera osäkerhet med avhopp NNsextraktion information från befintliga modeller som har kastats bort hittills. Detta minskar problemet med att representera osäkerhet i det djupa lärandet utan att offra vare sig beräkningskomplexitet eller testnoggrannhet. Vi gör en omfattande studie av egenskaperna hos avhoppets osäkerhet. Olika nätverksarkitekturer och icke-linjäriteter bedöms utifrån regressions- och klassificeringsuppgifter med hjälp av MNIST som exempel. Vi visar en betydande förbättring i prediktiv log-likelihood och RMSE jämfört med befintliga state-of-the-art metoder, och avsluta genom att använda dropout osäkerhet i djup förstärkning lärande.
Slutligen Gal och Ghahramani REF endow neurala nätverk med en Bayesian ram för att hantera osäkerheten i nätverkets förutsägelser och undersöka sambanden mellan dropout utbildning och slutsatser för djupa Gaussiska processer.
Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}