Den uttryckskraft neurala nätverk är viktigt för att förstå djupt lärande. De flesta befintliga verk betraktar detta problem utifrån ett näts djup. I den här artikeln studerar vi hur bredden påverkar expressiviteten i neurala nätverk. Klassiska resultat anger att djupbundet (t.ex. Djup-2) nätverk med lämpliga aktiveringsfunktioner är universella approximatorer. Vi visar en universell approximationssats för breddbundna ReLU-nät: bredd-(n + 4) ReLU-nät, där n är ingångsdimensionen, är universella approximatorer. Dessutom kan alla funktioner, med undantag för en mätnolluppsättning, inte approximeras med hjälp av ReLU-nät med bredd, som uppvisar en fasövergång. Flera senaste arbeten visar fördelarna med djup genom att bevisa djupeffektiviteten i neurala nätverk. Det vill säga, det finns klasser av djupa nätverk som inte kan förverkligas av något grunt nätverk vars storlek inte är mer än en exponentiellt bunden. Här ställer vi den dubbla frågan om ReLU-nätens breddeffektivitet: Finns det breda nät som inte kan förverkligas genom smala nät vars storlek inte är väsentligt större? Vi visar att det finns klasser av breda nätverk som inte kan förverkligas av något smalt nätverk vars djup inte är mer än ett polynom som är bundet. Å andra sidan visar vi genom omfattande experiment att smala nätverk vars storlek överstiger polynomet bunden av en konstant faktor kan approximera brett och grunt nätverk med hög noggrannhet. Våra resultat ger mer omfattande belägg för att djupet är mer effektivt än bredden för ReLU-nätverkens uttryckskraft.
Den uttryckskraft av djupa neurala nätverk (DNN) i samband med funktion approximation har undersökts tidigare REF.
The Expressive Power of Neural Networks: A View from the Width
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}