I detta papper formaliserar vi idén bakom kapselnät att använda en kapselvektor snarare än en neuronaktivering för att förutsäga märkningen av prover. I detta syfte, föreslår vi att lära sig en grupp av kapsel subrymder på vilken en ingång funktion vektor projiceras. Därefter används längderna av resulterande kapslar för att poängsätta sannolikheten för att tillhöra olika klasser. Vi tränar en sådan Capsule Projection Network (CapProNet) genom att lära sig en ortogonal projektion matris för varje kapsel subrymd, och visar att varje kapsel subrymd uppdateras tills den innehåller indata vektorer som motsvarar den tillhörande klassen. Vi kommer också att visa att kapselprojektionen kan ses som att normalisera flera kolumner i viktmatrisen samtidigt för att bilda en ortogonal bas, vilket gör det mer effektivt att införliva nya komponenter av ingångsfunktioner för att uppdatera kapsel representationer. Med andra ord, kapselprojektionen kan ses som en flerdimensionell vikt normalisering i kapsel subrymder, där den konventionella vikt normalisering är helt enkelt ett specialfall av kapsel projektion på 1D-linjer. Endast en liten försumbar dator overhead uppstår för att träna nätverket i lågdimensionella kapsel subrymder eller genom en alternativ hyper-power iteration för att uppskatta normaliseringsmatrisen. Experimentella resultat på bilddataset visar den presenterade modellen kan avsevärt förbättra prestandan för de toppmoderna ResNet ryggrader med 10 − 20% och den för densenet med 5 − 7% respektive på samma nivå av dator- och minneskostnader. CapProNet etablerar den konkurrenskraftiga toppmoderna prestandan för familjen av kapselnät genom att avsevärt minska testfelen på referensdataseten.
Arbetet i REF föreslår att man lär sig grupper av kapselsubrymder och projektinbäddade funktioner på dessa subrymder.
CapProNet: Deep Feature Learning via Orthogonal Projections onto Capsule Subspaces
{'venue': 'Proceedings of Thirty-second Conference on Neural Information Processing Systems (NIPS 2018)', 'journal': None, 'mag_field_of_study': ['Computer Science']}