这一波人工智能泡沫将会怎么破灭？
大部分的回答都是五年以前了。最近在考CQF，课题就是人工智能的资本量化分析，同时又在做深度学习的底层工作（非对比式自监督学习）。在这里从金融（面向业界）和科学（面向学界）两个角度分别分析，并且综合两者提供面向从业者和投资人的建议。 先上结论。 如果你对哪一点有疑问，请继续读。  首先看看金融。“泡沫“是一个资本术语，不是科学术语。谈金融要看业界，不能看学界。“泡沫”表示资本（理性经济人）的投入大于项目短期的经济价值，这种状态一般发生在业界。学界很穷，教授也要靠带横向和公司合作赚点外快，根本没有泡沫之说。这一般只在微观经济学中讨论，目标是快速得到金融实体的自身利益。很好理解，不管是散户还是金融集团，投资肯定是为了赚快钱。 注意，这里深度学习公司和资本家是对立的。资本家/散户是为了赚快钱；公司（知识资源的所有者）的最终目标虽然也是赚钱，但是其收支预期变化率比资本（知识资源的支持者）小的多。为了公司的利益，公司会进行多轮面向资本方的项目融资会议，在这个时候会大力宣传项目的知识特色。例如深度学习，现在创业公司基本上都会提，已经到了不提甚至没脸开会的地步。 总结一下，资本这边：资本期望快速回报；泡沫夸大短期价值；公司融资获得启动资金。 再来看看科学。谈科学要看学界，不能看业界，业界比学界慢5-8年。深度学习现在主要的应用就是在CV和NLP，这俩算是应用链里的顶层，性能确实比传统方法优秀不少。但深度学习最大的问题在于，模型具有很强的不可解释性（黑箱性），这导致学界的整体研究方向五花八门，CVPR有八成文章做的模型都没法说明白为什么，剩下来偏规则的图形学和底层机器学习的文章凤毛麟角：一来没有库可以调用，实验慢；一来对数学要求很高，因为底层是可解释的，必须解释清楚，这样就难度大。大家都想着两三个月入门顺便投顶会，很难考虑这些方向。NLP更是露骨，直接出了叫EMNLP（基于经验方法的NLP）的顶会。Transformer这种大模型也是NLP先出来的，到现在也没人清楚性能好的理由，更不用提基于Transformer之上的BERT、GPT-2等大语言模型。更让人不安的是，现在大公司都在进行大语言模型（VLSLM）军备竞赛，因为发现模型在某些任务上的性能已经超越了人类（如PaLM），文章中已经几乎不提模型原理了。 科学上资源的聚集效应带来了不均衡。底层投入少，通用人工智能（AGI）也鲜有发展。关注CV和NLP的同学肯定很苦恼，每天公众号都被小打小闹淹没，看不到知其所以然的任何推理。这导致深度学习的入门门槛越来越浅，下至本科生，甚至高中生都能发表顶会（特别是CV这边，本科就有几篇CVPR的人不在少数）。审稿水平也值得质疑，各种水平不等的论文都能够被接收，而绝大多数都是在缝合模型刷点或者提出并没有太大意义的benchmark，更有甚者为了增加出版量一个模型套几个任务全部中了顶会，却没有一套完整的理论体系进行支持。缺乏深度的研究如果成为了学界主流，这个学科就会出现泡沫。一份出色的科学工作，应当从知识入手，讲清楚模型为什么能够实现这么好的性能；而且解释不能停留在应用层，要下化到神经层。上看网络结构和任务的匹配度，下看网络结构的数学特征，把黑箱一层一层拆开来。今年CVPR 2022的Best Paper就有这种世外桃源的感觉，是一个好的兆头；但是还是那个问题，大方向不对，总体还是走在老路上。 另外，很多其实很有实力的学生，因为过早进入某个深度学习的分支，缺乏对整个深度学习方向的理解，逐渐丧失了对深度学习的想象力，看上去成果颇丰，在真正问一些问题insights的时候却基本答不上来。这种同学非常让人可惜，本质还是在资本的浪潮下随波逐流。如吴恩达所说，深度学习是一门基于经验的学科，高度决定亮度。这里的“经验”不是说一上来就去做很多项目、打怪获得经验——没个三五年基础知识的积淀是没法内化经验的。大部分项目都停留在应用的高度，很多人连聚类都不懂，上来一通神经网络算法，性能不错，但没有本质上能力的提升。一个真正有意义的项目，是在不断的实验中诞生的，能够进行各种算法的比较，例如观察基于梯度的方法和基于隐变量的方法在同一批数据上的不同行为，通过这种不断的实验和比较才能使自己的建模能力和应用能力得到质的提升。这才是吴恩达说的“有深度的深度学习”。注意，黑箱虽然意味着入门门槛浅，但并不意味着每个人对黑箱的理解是一致的。换句话说，黑箱学科确实门槛低，但是不意味着上限低，只能说明入门后的实质提升难，并且由于深入研究困难容易达到学科饱和。事实证明，对于底层理解更透彻的学者更有提升学科上限，并创造性研究的可能。深度学习三大图灵奖得主之一Hinton曾说，启发式算法虽然无法被证明是最好的，但是如果不明白它为什么比另一个规则方法或启发方法好，那么对它的应用是苍白的。梯度方法就是典型的启发式算法之一。 总结一下，科学这边：黑箱浓度太高，学习门槛太低，研究功利心强。 现在大家思考一下为什么科学这边很少有人做原理的探究——因为没有资本。为什么功利心强？因为有资本。 根据调查，深度学习这一块学界的主体是硕博。大部分文章都是硕博在做，博后和教授都在当PR。其中，硕士80%奔向产业界，20%深造为博士；博士70%奔向产业界，30%深造为博士后（数据来自实验室教授的统计）。换句话说，整个深度学习社区由于追求快速产出，对领域有深刻认知的巨佬们并不直接参与项目的开发，导致社区低龄化。低龄化社区的最大问题是学术的利益性增强，因为硕博以后是要去业界的，研究方向很大程度上受资本影响。又因为资本的短期逐利性，整个社区的研究方向也会变得短视。资本往对话系统去，大家就去做对话系统；资本往目标检测去，大家就去做目标检测。什么方向好就业，什么方向薪资高，就往什么方向做，想着多几段这个方向的经历总不是坏事。 这种短期逐利行为带来的最大问题就是领域整体的投入不能获得应有的深度。这并不是说领域没有发展，领域确实发展的很好，特别是在应用上。但是精英人才都被用在了学科应用上，几乎无人深入探究梯度方法背后的原理。现在大部分项目都只需要调库，会点PyTorch就可以完成大多数应用。加之Copilot这样的自动写代码软件横空出世，不出几年，整个行业高地就会被几乎不理解底层原理的程序员占领。这就是为什么现在学校里一些杂七杂八专业的本科生，甚至高中生都能够进入这个领域，做项目也能做的风生水起。说的难听点，这些基本上都是缺乏积淀的低水平项目。门槛低已经成为了程序员和深度学习研究领域的代名词，“深度学习缺乏深度”也已经是学界业界公认的事实。加之资本的短期逐利性，整个学界已经呈现出疲态。 因此，在这里，笔者留下对各位深度学习从业者，以及投资人的建议。