Trots deras framgång, är konvolutionella neurala nätverk beräkna dyrt eftersom de måste undersöka alla bild platser. Stochastic uppmärksamhet-baserade modeller har visat sig förbättra beräkningseffektiviteten vid testtid, men de är fortfarande svårt att träna på grund av intractable posterior inference och hög varians i de stokastiska gradient uppskattningar. Låna tekniker från litteraturen på utbildning djupa generativa modeller, presenterar vi Wake-Sleep Recurrent Attention Model, en metod för utbildning stokastiska uppmärksamhet nätverk som förbättrar bakre inferens och minskar variabiliteten i stokastiska gradienter. Vi visar att vår metod i hög grad kan påskynda utbildningstiden för stokastiska uppmärksamhetsnätverk inom områdena bildklassificering och bildtextgenerering.
Det har tillämpats på generativ modellering av bilder REF.
Learning Wake-Sleep Recurrent Attention Models
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}