Detta dokument undersöker den approximativa egenskapen hos det neurala nätverket med obundna aktiveringsfunktioner, såsom den rektifierade linjära enheten (ReLU), som är ny de-facto standard för djup inlärning. ReLU-nätverket kan analyseras med hjälp av kamelettransform med avseende på Lizorkindistributioner, som introduceras i detta papper. Genom att visa två rekonstruktion formler genom att använda Fourier skiva teorem och Radon transform, det visas att neurala nätverket med obegränsade aktiveringar fortfarande innehar den universella approximations egenskapen. Som ytterligare en följd av detta är kamelet transform, eller backprojection-filtret i Radon-domänen, vad nätverket kommer att ha lärt sig efter backpropagation. Under förutsättning att en konstruktiv tillåtlighet villkor, det utbildade nätverket kan erhållas genom att bara discretizing kamelet transform, utan backpropagation. Numeriska exempel stöder inte bara konsekvensen i tillåtlighetsvillkoret, utan innebär också att vissa fall som inte är tillåtna resulterar i lågpassfiltrering.
På senare tid har REF använt kamelet transform analys för att studera approximativa egenskaper hos tvålagers neurala nätverk med obundna aktiveringsfunktioner, inklusive ReLU.
Neural Network with Unbounded Activation Functions is Universal Approximator
{'venue': 'Applied and Computational Harmonic Analysis, 43(2):233-268, 2017', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}