Vi formaliserar föreställningen om en pseudo-ensemble, en (eventuellt oändlig) samling av barnmodeller som kommer från en föräldramodell genom att störa den enligt någon bullerprocess. T.ex., avhopp [9] i ett djupt neuralt nätverk tränar en pseudo-ensemble av undernätverk för barn som genereras av slumpmässigt maskerande noder i modernätverket. Vi undersöker förhållandet mellan pseudo-ensembler, som involverar perturbation i modell-rymden, till standard ensemble metoder och befintliga föreställningar om robusthet, som fokuserar på perturbation i observation-rymden. Vi presenterar en ny regularizer baserad på att göra beteendet hos en pseudo-ensemble robust med avseende på bullerprocessen genererar det. I den helt övervakade inställningen, matchar vår regularizer utförandet av avhopp. Men, till skillnad från avhopp, vår regularizer sträcker sig naturligt till semi-övervakad inställning, där det producerar state-of-the-art resultat. Vi tillhandahåller en fallstudie där vi omvandlar Recursive Neural Tensor Network av [19] till en pseudo-ensemble, som avsevärt förbättrar dess prestanda på en verklig känsloanalys riktmärke.
Bachman m.fl. REF studerade slumpmässig perturbation i inställningen av halvövervakat lärande.
Learning with Pseudo-Ensembles
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}