神经网络啥时候改名叫“深度学习”了？
实际上，并不是简单的“改名”，而是同一种思维范式在不同时代的表现形式。 所谓的“同一种思维范式”就是人工神经网络。人工神经网络，说到底是机器学习算法的一类。从古溯今，该类算法的发展大致经历了三次高潮：1. 二十世纪四十至六十年代，当时广为人知的控制论（cybernetics）；2. 二十世纪八十至九十年代的连接主义（connectionism）；3. 再就是2006年之后的深度学习（deep learning）。 在此我想说的是，深度学习，相比前两次高潮中的神经网络模型，并非仅仅是层数上简单粗暴的堆叠，更重要则是端到端（end-to-end）的表示学习（representation learning）思想。深度学习时代，输入数据直接变成了欲处理对象的最初形态，如初始图像、初始语音等。这类数据表示与高层概念表示之间往往存在较大鸿沟（gap），而端到端的无缝学习过程将表示学习和分类器训练整体耦合为一个系统，可以较理想的弥合这一鸿沟，这也是DL在图像和语音这类数据上独占鳌头的原因。由是，新时代下的发展赋予了神经网络新的含义，还不应该取个新名字吗？:)