Som en allmänt använd icke-linjär aktivering separerar rektifierad linjär enhet (ReLU) buller och signal i en funktionskarta genom att lära sig en tröskel eller skevhet. Vi hävdar dock att klassificeringen av buller och signal inte bara beror på omfattningen av svaren, utan också på sammanhanget av hur funktionssvaren skulle användas för att upptäcka mer abstrakta mönster i högre skikt. För att kunna ge ut flera responskartor med magnitud i olika intervall för ett visst visuellt mönster, måste befintliga nätverk som använder ReLU och dess varianter lära sig ett stort antal redundanta filter. I detta dokument föreslår vi en multi-bias icke-linjär aktivering (MBA) skikt för att undersöka den information som döljs i omfattningen av svaren. Den placeras efter konvolutionsskiktet för att koppla bort svaren till en konvolutionskärna till flera kartor genom multi-thresholding magnituder, vilket genererar fler mönster i funktionsutrymmet till en låg beräkningskostnad. Det ger stor flexibilitet att välja svar på olika visuella mönster i olika storleksintervall för att bilda rika representationer i högre lager. Ett sådant enkelt men ändå effektivt system uppnår de senaste resultaten på flera riktmärken.
Löjtnant m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m för m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m m. I REF föreslogs icke-linjär aktivering (MBA) för att undersöka den information som är dold i svarens omfattning.
Multi-Bias Non-linear Activation in Deep Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science']}