Avhopp, ett enkelt och effektivt sätt att träna djupa neurala nätverk, har lett till ett antal imponerande empiriska framgångar och gett upphov till många nya teoretiska undersökningar. Klyftan mellan avhoppsutbildning och slutledningsfaser, som införts på grund av lämplighetsöverväganden, har dock till stor del förblivit undervärderad. I detta arbete formulerar vi först avhopp som en dragbar approximation av någon latent variabel modell, vilket leder till en ren syn på parameterdelning och möjliggör ytterligare teoretisk analys. Sedan introducerar vi (ungefär) förväntan-linjära dropout neurala nätverk, vars inference gap vi är i stånd att formellt karakterisera. Algoritmiskt visar vi att vårt föreslagna mått på inference gapet kan användas för att regularisera standard avhopp utbildning mål, vilket resulterar i en uttrycklig kontroll av gapet. Vår metod är lika enkel och effektiv som standard avhopp. Vi ytterligare bevisa de övre gränserna på förlusten i noggrannhet på grund av förväntan-linjärisering, beskriva klasser av indatadistributioner som förväntan-linjärisera lätt. Experiment på tre referensvärden för bildklassificering visar att en minskning av inferensklyftan verkligen kan förbättra prestandan på ett konsekvent sätt.
REF introducerar förväntan-linear Dropout som regulariserar träningsmålet med en uppmätt inference gap.
Dropout with Expectation-linear Regularization
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}