Abstrakt. I detta dokument föreslår och undersöker vi en ny icke-linjär enhet, kallad Lp-enhet, för djupa neurala nätverk. Den föreslagna Lp-enheten tar emot signaler från flera projektioner av en undergrupp av enheter i lagret under och beräknar en normaliserad Lp-norm. Vi lägger märke till två intressanta tolkningar av Lp-enheten. För det första kan den föreslagna enheten förstås som en generalisering av ett antal konventionella pooling operatörer såsom genomsnittliga, rot-medel-kvadrat och max pooling allmänt används i exempelvis konvolutionella neurala nätverk (CNN), HMAX modeller och neocognitroner. Dessutom liknar Lp-enheten i viss utsträckning den nyligen föreslagna maxout-enheten [13] som uppnådde de senaste resultaten från objektigenkänning på ett antal referensdatauppsättningar. För det andra ger vi en geometrisk tolkning av aktiveringsfunktionen som vi hävdar att Lp-enheten är mer effektiv när det gäller att representera komplexa, icke-linjära åtskiljande gränser. Varje Lp-enhet definierar en superelliptisk gräns, med dess exakta form definierad av ordern p. Vi hävdar att detta gör det möjligt att modellera godtyckligt formade, böjda gränser mer effektivt genom att kombinera några Lp-enheter av olika order. Denna insikt motiverar behovet av att lära sig olika beställningar för varje enhet i modellen. Vi utvärderar empiriskt de föreslagna LP-enheterna på ett antal datauppsättningar och visar att flerskiktsperceptroner (MLP) bestående av LP-enheterna uppnår de senaste resultaten på ett antal referensdatauppsättningar. Dessutom utvärderar vi den föreslagna Lp-enheten på de nyligen föreslagna djupa återkommande neurala nätverken (RNN).
Ett tidigare försök REF föreslog en icke-linjär enhet med en inlärbar ordning p, som tar emot signaler från flera projektioner av en undergrupp av enheter i det föregående skiktet, och utför p normalisering.
Learned-Norm Pooling for Deep Feedforward and Recurrent Neural Networks
{'venue': None, 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}