Denna artikel handlar om approximation och uttryckskrafter hos djupa neurala nätverk. Detta är ett aktivt forskningsområde som för närvarande producerar många intressanta artiklar. De resultat som oftast hittas i litteraturen bevisar att neurala nätverk ungefärligt fungerar med klassisk jämnhet till samma noggrannhet som klassiska linjära metoder för approximation, t.ex. approximation genom polynom eller bitvis polynom på föreskrivna partitioner. Men approximation av neurala nätverk beroende på n parametrar är en form av icke-linjär approximation och som sådan bör jämföras med andra icke-linjära metoder såsom variabla knop splines eller n-term approximation från ordböcker. Prestandan av neurala nätverk i riktade applikationer såsom maskininlärning indikerar att de faktiskt har ännu större approximation effekt än dessa traditionella metoder för icke-linjär approximation. De viktigaste resultaten av denna artikel bevisar att så verkligen är fallet. Detta görs genom att ställa ut stora klasser av funktioner som effektivt kan fångas upp av neurala nätverk där klassiska ickelinjära metoder inte räcker till. Denna artikel begränsar sig målmedvetet till att studera ReLU-nätens tillnärmning av unika funktioner. Många generaliseringar till funktioner av flera variabler och andra aktiveringsfunktioner kan föreställas. Men även i denna enklaste miljö som beaktas här, en teori som helt kvantifierar approximationskraften hos neurala nätverk saknas fortfarande.
Ett annat anmärkningsvärt arbete nyligen är REF, där de djupa ReLU-nätens approximationsförmåga studeras i samband med unika funktioner.
Nonlinear Approximation and (Deep) ReLU Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Mathematics', 'Computer Science']}