Avhoppande legalisering av djupa neurala nätverk har varit ett mystiskt men effektivt verktyg för att förhindra översittande. Förklaringar till dess framgång sträcker sig från förebyggande av "samanpassade" vikter till att det är en form av billig Bayesian slutledning. Vi föreslår en ny ram för att förstå multiplikativt buller i neurala nätverk, med tanke på kontinuerliga distributioner samt Bernoulli buller (dvs. avhopp). Vi visar att multiplikativt buller inducerar strukturerad krympning tidigare på ett nätverk vikter. Vi härleder ekvivalensen genom att parametrisera egenskaperna hos skalblandningar och utan att åberopa några approximationer. Med tanke på likvärdigheten, visar vi sedan att avhopp Monte Carlo utbildningsmål approximerar marginal MAP uppskattning. Vi utnyttjar dessa insikter för att föreslå en ny krympning ram för resnets, som kallar den tidigare automatisk djupbestämning eftersom det är den naturliga analog av automatisk relevans bestämning för nätverkdjup. Slutligen undersöker vi två slutsatserstrategier som förbättrar den ovannämnda MAP- approximationen i regressionsriktmärken.
REF tolkar avhopp som en strukturerad krympning tidigare.
Dropout as a Structured Shrinkage Prior
{'venue': 'ICML', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}