Recurrent neural networks (RNN) ligger i framkant av många senaste utvecklingen inom djupinlärning. Ändå är en stor svårighet med dessa modeller deras tendens att överpassa, med avhopp visade sig misslyckas när tillämpas på återkommande lager. Nya resultat i skärningspunkten mellan Bayesian modellering och djupinlärning erbjuder en Bayesian tolkning av gemensamma djupinlärning tekniker såsom avhopp. Denna grundläggning av avhopp i ungefärlig Bayesiansk slutsats tyder på en förlängning av de teoretiska resultaten, vilket ger insikter i användningen av avhopp med RNN-modeller. Vi tillämpar denna nya variationsbaserade inferensbaserad dropout-teknik i LSTM- och GRU-modeller för bedömning av språkmodellering och känsloanalys. Det nya tillvägagångssättet överträffar befintliga tekniker, och med hjälp av Penn Treebank (73,4 test perplexitet) kan vi med bästa möjliga kunskap förbättra den modernaste modellen i språkmodellering. Detta utökar vår arsenal av variationsverktyg i djupt lärande.
För att undvika övermontering i modellerna RNN ffes2seq föreslog Gal och Ghahramani REF att den variationsbaserade dropout-tekniken skulle tillämpas på modellen.
A Theoretically Grounded Application of Dropout in Recurrent Neural Networks
{'venue': 'NIPS 2016', 'journal': 'arXiv: Machine Learning', 'mag_field_of_study': ['Computer Science', 'Mathematics']}