神经网络的万能逼近定理已经发展到什么地步了？
我说一下我最近做的三个相关的工作，可以算是NN Approximation Theory的SOTA吧。 第一个是Efficient Approximation of Deep ReLU Networks for Functions on Low Dimensional Manifolds。 我们考虑了一个有low dimensional structure的setting，即假设input在一个D-dimensional space里的d-dimensional smooth manifold上，d<<D。对于定义在这个manifold上的Holder class，如果用Multi-Layer ReLU network来approximate，那么network的宽度只需要(1/eps)^d，好于没有low dimensional manifold假设的(1/eps)^D。这篇文章发表在NeurIPS 2019上。 第二个是第一个工作的Extended version：Nonparametric Regression on Low-Dimensional Manifolds using Deep ReLU Networks。 这里考虑了nonparametric regression问题，也做了low dimensional manifold的假设，使用NIPS 2019 paper里的approximation结论，我们可以得到Empirical Risk Minimizer的prediction error能达到n^{-1/d}，好于没有low dimensional manifold假设的n^{-1/D}，这里n是regression的sample size。不过要注意的是，我们并不能保证SGD一类的算法可以得到empirical risk minimizer。 第三个是Statistical Guarantees of Generative Adversarial Networks for Distribution Estimation。 这里考虑的是使用GAN来做distribution estimation。我们用Optimal Transport和NN的Function Approximation理论证明了，基于pushforward方法的deep generative model对于distribution with smooth density的Universal Approximation能力，分析了GAN的global equilibria做distribution estimation的error bound。同样要注意的是，我们并不能保证alternating SGD一类的算法可以得到global equilibria。