Abstrakt. En kapsel är en samling neuroner som representerar olika varianter av ett mönster i nätverket. Routing schemat garanterar endast vissa kapslar som liknar lägre motsvarigheter i det högre skiktet bör aktiveras. Emellertid blir den beräkningsmässiga komplexiteten en flaskhals för skalning upp till större nätverk, eftersom lägre kapslar måste motsvara varje högre kapsel. För att lösa denna begränsning, vi ungefär routing processen med två grenar: en master gren som samlar primär information från sin direkta kontakt i det lägre lagret och en aide gren som fyller master baserat på mönstervarianter kodade i andra lägre kapslar. Jämfört med tidigare iterativ och oövervakad routing, kommuniceras dessa två grenar på ett snabbt, övervakat och engångsmässigt sätt. Modellens komplexitet och driftstid minskas därför med stor marginal. Motiverade av routingen att göra högre kapsel har avtal med lägre kapsel, vi utökar mekanismen som en kompensation för den snabba förlusten av information i närliggande lager. Vi utformar en feedback överenskommelse enhet för att skicka tillbaka högre kapslar som feedback. Det skulle kunna betraktas som en ytterligare legalisering av nätverket. Återkopplingsavtalet uppnås genom att jämföra den optimala transportskillnaden mellan två distributioner (lägre och högre kapslar). En sådan add-on vittnen en enhällig vinst i både kapsel och vanilj nätverk. Vår föreslagna EncapNet presterar gynnsamt bättre mot tidigare state-of-the-arts på CIFAR10/100, SVHN och en delmängd av ImageNet.
EncapNet REF gör en engångs-pass approximation av routing processen genom att införa två grenar.
Neural Network Encapsulation
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}