Traditionella konvolutionella neurala nätverk (CNN) är stationära och feedforward. De ändrar varken sina parametrar under utvärderingen eller använder feedback från högre till lägre skikt. Men riktiga hjärnor gör det. Det gör även vår arkitektur för Djupa Uppmärksamhets Selektiva Nätverk (dasNet). DasNets återkoppling struktur kan dynamiskt ändra dess convolutional filter sensibilities under klassificering. Den utnyttjar kraften i sekventiell bearbetning för att förbättra klassificeringsprestandan, genom att låta nätverket iterativt fokusera sin interna uppmärksamhet på några av dess konvolutionsfilter. Feedback tränas genom direkt politisk sökning i ett enormt miljondimensionellt parameterutrymme, genom skalbara strategier för naturlig utveckling (SNES). På datauppsättningarna CIFAR-10 och CIFAR-100 överträffar dasNet den tidigare toppmoderna modellen.
Den utnyttjar kraften i sekventiell bearbetning för att förbättra klassificeringsprestandan, genom att låta nätverket iterativt fokusera sin interna uppmärksamhet på några av dess konvolutionsfilter REF.
Deep Networks with Internal Selective Attention through Feedback Connections
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}