Befintliga metoder för att kombinera både additiva och multiplikativa neurala enheter använder antingen en fast tilldelning av operationer eller kräver diskret optimering för att bestämma vilken funktion en neuron bör utföra. Detta leder antingen till en ineffektiv fördelning av beräkningsresurserna eller till en omfattande ökning av utbildningens beräkningskomplexitet. Vi presenterar en ny, parameterisable överföringsfunktion baserad på det matematiska begreppet icke-integer funktionell iteration som gör att operationen varje neuron utför att vara smidigt och, viktigast av allt, differentierat mellan addition och multiplikation. Detta gör det möjligt att integrera beslutet mellan addition och multiplikation i den standardutbildning för backpropagation.
Dessutom införde REF en parametrisk aktiveringsfunktion för att smidigt interpolera operationen en neuron utför på dess ingångar mellan addition och multiplikation, vilket gör det möjligt att bestämma den lämpligaste operationen under utbildningen.
A Neural Transfer Function for a Smooth and Differentiable Transition Between Additive and Multiplicative Interactions
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}