Abstract-En aktiveringsfunktion har en avgörande roll i ett djupt neuralt nätverk. En enkel rektifierad linjär enhet (ReLU) används i stor utsträckning för aktiveringsfunktionen. I detta dokument föreslås en viktad sigmoid grindenhet (WiG) som aktiveringsfunktion. Den föreslagna WiG består av en multiplikation av ingångar och den viktade sigmoidporten. Det visas att WiG omfattar ReLU och samma aktiveringsfunktioner som ett specialfall. Många aktiveringsfunktioner har föreslagits för att övervinna ReLU:s prestanda. I litteraturen utvärderas föreställningen huvudsakligen med en objektigenkänningsuppgift. Den föreslagna WiG utvärderas med uppgiften objektigenkänning och uppgiften bild restaurering. Därefter visar de expeirmentala jämförelserna att den föreslagna WiG övervinner de befintliga aktiveringsfunktionerna, inklusive ReLU.
WiG REF uppnådde prestandaförbättringar av CNN genom att använda gating med uppmärksamhetsmekanism som aktiveringsfunktion.
Weighted Sigmoid Gate Unit for an Activation Function of Deep Neural Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}