神经网络的万能逼近定理已经发展到什么地步了？
之前想过用动力系统尝试解决ReLU网络逼近的定性问题，但最近发现了一个非常神奇的东西，热带几何Tropical geometry。本质上是代数几何的“对数化”。其定义的Tropical semiring为 (\mathbb{R}\cup\{\infty\},\oplus,\otimes) 其中 x\oplus y:=min\{x,y\},x\otimes y:=x+y。在Tropical semiring下，ReLU神经网络可以看做Tropical polynomial热带多项式的迭代，非常神奇。目前看到18年有相关paper出来了Tropical Geometry of Deep Neural Networks 还没仔细看，这两天准备阅读一下Introduction to Tropical geometry以及这篇paper，看到一个结论是迭代下线性区数量与层数的复杂度关系。这篇文章让我感到兴奋的点在于说不定可以引入代数几何的工具去做神经网络的相关研究，通过研究线性区来得到相关的拟合上界。另外本文的第二作者也在今年写了一篇paperhttps://arxiv.org/abs/2004.06093，引入代数拓扑做深度神经网络分析，这个好像TDA的人好像有做过，但是可能不是一条路。