Vi visar att det finns en enkel (ungefär radial) funktion på R d, uttrycks av en liten 3-lager feedfore neurala nätverk, som inte kan approximeras av något 2-lagers nätverk, till mer än en viss konstant noggrannhet, om inte dess bredd är exponentiellt i dimensionen. Resultatet innehåller praktiskt taget alla kända aktiveringsfunktioner, inklusive rättade linjära enheter, sigmoider och trösklar, och visar formellt att djupet - även om det ökas med 1 - kan vara exponentiellt mer värdefullt än bredden för standard feedfore neurala nätverk. Dessutom, jämfört med relaterade resultat i samband med Booleska funktioner, kräver vårt resultat färre antaganden, och bevistekniker och konstruktion är mycket olika.
REF presenterade en exempelfunktion som är uttrycklig av ett litet 3-lagers neurala nätverk, men kan inte approximeras av ett 2-lagers nätverk till en viss konstant noggrannhet om inte dess bredd är exponentiell till dimensionen av data.
The Power of Depth for Feedforward Neural Networks
{'venue': 'ArXiv', 'journal': 'ArXiv', 'mag_field_of_study': ['Computer Science', 'Mathematics']}