Vi återkommer fuzzy neurala nätverk med en hörnsten begrepp av generaliserad hamming avstånd, som ger en ny och teoretiskt motiverad ram för att omtolka många användbara neurala nätverk tekniker i termer av fuzzy logik. I synnerhet antar vi och empiriskt illustrerar att den berömda batch normalization (BN) tekniken faktiskt anpassar den "normaliserade" partiskhet sådan att den approximerar den rättmätiga fördomar som induceras av den generaliserade hamming avstånd. När väl den tillbörliga fördomar framtvingas analytiskt, varken optimeringen av fördomar termer eller den sofistikerade batch normalisering behövs. Även i ljuset av den generaliserade hängsträckan kan de populära rektifierade linjära enheterna (ReLU) behandlas som att sätta en minimal gräns för hängsträckan mellan nätingångar och vikter. Denna tröskelsystem, å ena sidan, kan förbättras genom att införa dubbel-thresholding på både positiva och negativa ytterligheter av neuronutgångar. Å andra sidan visar sig ReLU vara icke-väsentliga och kan tas bort från nätverk som utbildats för enkla uppgifter som MNIST klassificering. Det föreslagna generaliserade hamming network (GHN) som sådan lämpar sig inte bara för rigorös analys och tolkning inom den luddiga logikteorin utan visar också snabb inlärningshastighet, välkontrollerat beteende och toppmoderna prestationer på en mängd olika inlärningsuppgifter.
Undantaget är den senaste REF, som omtolkade hyllade ReLU och batch normalisering med en ny Generalized Hamming Network (GHN) och demonstrerade de senaste resultaten på en mängd olika maskininlärning uppgifter.
Revisit Fuzzy Neural Network: Demystifying Batch Normalization and ReLU with Generalized Hamming Network
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}