I detta dokument avslöjar vi vikten och fördelarna med att införa andra ordningens operationer i djupa neurala nätverk. Vi föreslår en ny metod som heter Second-Order Response Transform (SORT), som bifogar elementvis produkttransform till den linjära summan av en tvågrenad nätverksmodul. En direkt fördel med SORT är att underlätta branschövergripande responsutbredning, så att varje gren kan uppdatera sina vikter baserat på den andra grenens nuvarande status. SORT ökar dessutom familjen av transformer och ökar nätverkets icke-linjäritet, vilket gör det möjligt att lära sig flexibla funktioner för att passa den komplicerade fördelningen av funktionsutrymme. SORT kan tillämpas på ett brett spektrum av nätverksarkitekturer, inklusive en grenad variant av ett kedjeformat nätverk och ett resterande nätverk, med mycket lättviktade ändringar. Vi observerar konsekvent noggrannhetsvinst på både små (CIFAR10, CIFAR100 och SVHN) och stora (ILSVRC2012) datauppsättningar. Dessutom är SORT mycket effektivt, eftersom den extra beräkningen overhead är mindre än 5%.
Den andra ordern Response Transform (SORT) REF utvecklar en tvågrenad nätverksmodul för att kombinera svar från två konvolutionsblock och multiplikation av svaren.
SORT: Second-Order Response Transform for Visual Recognition
{'venue': '2017 IEEE International Conference on Computer Vision (ICCV)', 'journal': '2017 IEEE International Conference on Computer Vision (ICCV)', 'mag_field_of_study': ['Computer Science']}