Vi anser att neurala nätverk med ett enda dolt lager och icke-minska homogen aktiveringsfunktioner som de rektifierade linjära enheterna. Genom att låta antalet dolda enheter växa fritt och med hjälp av klassiska icke-Euklidiska legaliseringsverktyg på utgångsvikterna, ger vi en detaljerad teoretisk analys av deras generalisering prestanda, med en studie av både approximation och skattningsfel. Vi visar särskilt att de är anpassningsbara till okända underliggande linjära strukturer, såsom beroendet av projiceringen av indatavariablerna på en lågdimensionell subrymd. Dessutom, när vi använder sparty-inducerande normer på ingångsvikterna, visar vi att högdimensionella icke-linjära variabla val kan uppnås, utan några starka antaganden om data och med ett totalt antal variabler potentiellt exponentiellt i antalet observationer. Dessutom ger vi en enkel geometrisk tolkning av det icke-konvexa problemet med tillägg av en ny enhet, vilket är kärnan i potentiellt svåra beräkningselement inom ramen för lärande från kontinuerligt många basfunktioner. Vi tillhandahåller enkla villkor för konvexa avkopplingar för att uppnå samma generalisering felgränser, även när approximationer med konstant faktor inte kan hittas (t.ex., eftersom det är NP-hård som för noll-homogen aktiveringsfunktion). Vi kunde inte hitta tillräckligt starka konvexa avkopplingar och lämna öppen existensen eller icke-existensen av polynom-tidsalgoritmer.
I REF, författaren studier också en dolda lager neurala nätverk med inmatningsdata på sfären.
Breaking the Curse of Dimensionality with Convex Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}