Artificiella neurala nätverk har vanligtvis en fast, icke-linjär aktiveringsfunktion vid varje neuron. Vi har konstruerat en ny form av bitvis linjär aktiveringsfunktion som lärs självständigt för varje neuron med hjälp av lutning nedstigning. Med denna adaptiva aktiveringsfunktion kan vi förbättra de djupa neurala nätverksarkitekturerna, som består av statiska rektifierade linjära enheter, för att uppnå hjärtstatus på CIFAR-10 (7,51%), CIFAR-100 (30,83%) och ett riktmärke från högenergifysiken med Higgs boson sönderfallslägen.
Nyligen, i REF författarna ta itu med problemet från en annan vinkel med hjälp av bitvis linjär aktiveringsfunktioner som lärs självständigt för varje neuron med lutning nedstigning.
Learning Activation Functions to Improve Deep Neural Networks
{'venue': 'ICLR 2014', 'journal': 'arXiv: Neural and Evolutionary Computing', 'mag_field_of_study': ['Computer Science', 'Mathematics']}