Abstrakt. Denna artikel gäller den uttryckskraft av djup i neurala nät med ReLU aktiveringar och begränsad bredd. Vi är särskilt intresserade av följande frågor: vad är den minsta bredden wmin(d) så att ReLU-nät med bredd wmin(d) (och godtyckligt djup) kan approximera någon kontinuerlig funktion på enheten kuben [0, 1] d aribiträrt väl? För ReLU-nät nära denna minimala bredd, vad kan man säga om det djup som krävs för att approximera en viss funktion? Vi får ett i huvudsak fullständigt svar på dessa frågor för konvexa funktioner. Vår strategi bygger på observationen att, på grund av konvexiteten i ReLU-aktiveringen, ReLU-nät är särskilt väl lämpade för att representera konvexa funktioner. I synnerhet visar vi att ReLU-nät med bredd d + 1 kan approximera alla kontinuerliga konvexa funktioner av d-variabler godtyckligt väl. Dessutom, när vi approximerar konvexa, bitvis affina funktioner med sådana nät, får vi matchande övre och nedre gränser på det önskade djupet, vilket bevisar att vår konstruktion är i huvudsak optimal. Dessa resultat ger sedan kvantitativa djupuppskattningar för graden av approximation av någon kontinuerlig skalarfunktion på den d-dimensionella kuben [0, 1] d av ReLU-nät med bredd d + 3.
Nyligen diskuterar REF den expressiva kraften hos ReLU-nät med begränsad bredd och visar att ett ReLU-nätverk med bredd d+1 kan approximera alla kontinuerliga konvexa funktioner för d-variabler godtyckligt väl.
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
{'venue': 'Mathematics 2019, 7(10), 992', 'journal': None, 'mag_field_of_study': ['Mathematics', 'Computer Science']}