Vi anser förmågan hos djupa neurala nätverk att representera data som ligger nära ett lågdimensionellt grenrör i ett högdimensionellt utrymme. Vi visar att djupa nätverk effektivt kan extrahera de inneboende, lågdimensionella koordinaterna för sådana data. Vi visar först att de två första skikten i ett djupt nätverk exakt kan bädda in punkter som ligger på en monoton kedja, en speciell typ av bitvis linjärt grenrör, mappa dem till en lågdimensionell Euclidean utrymme. Märkligt nog kan nätverket göra detta med hjälp av ett nästan optimalt antal parametrar. Vi visar också att detta nätverk projekt närliggande punkter på grenen och sedan bäddar in dem med lite fel. Vi utsträcker sedan dessa resultat till mer allmänna multiplikatorer.
För grenrör visar REF hur djupa nätverk effektivt kan representera lågdimensionella grenrör och att dessa nätverk är nästan optimala, men de diskuterar inte begränsningar av ytliga nät på samma problem.
Efficient Representation of Low-Dimensional Manifolds using Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}