Vi anser förmågan hos djupa neurala nätverk att representera data som ligger nära ett lågdimensionellt grenrör i ett högdimensionellt utrymme. Vi visar att djupa nätverk effektivt kan extrahera de inneboende, lågdimensionella koordinaterna för sådana data. Vi visar först att de två första skikten i ett djupt nätverk exakt kan bädda in punkter som ligger på en monoton kedja, en speciell typ av bitvis linjärt grenrör, mappa dem till en lågdimensionell Euclidean utrymme. Märkligt nog kan nätverket göra detta med hjälp av ett nästan optimalt antal parametrar. Vi visar också att detta nätverk projekt närliggande punkter på grenen och sedan bäddar in dem med lite fel. Vi utsträcker sedan dessa resultat till mer allmänna multiplikatorer.
Slutligen, REF studerade förmågan hos neurala nätverk att approximera lågdimensionella grenrör, visar att även två lager ReLU-nätverk har anmärkningsvärd förmåga att koda släta strukturer med nästan optimalt antal parametrar.
Efficient Representation of Low-Dimensional Manifolds using Deep Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}