对神经网络某一层做了小改进，效果却提升显著，可以发论文吗？
1.就像大多数答主所说的。首先是确认代码没有错误，尤其是没有把测试集混入训练集。 如果没问题就可以开启一段尝试性的学术之旅了。  2.确认你的方法能迁移到不同的网络结构和数据集上依然有效吗？效果显著吗？ 换一个模型，换一个数据集，然后再试试你的方法。 你需要先了解这个问题的baseline是怎么样的？在达到baseline的基础上，你的改进依然效果显著吗 这一步是你能很快自己检验的。 多经历这一步对于初学者提升也很有帮助。  如果换个模型/数据集，你的方法就没有效果了，那么旅程结束。 如果依然效果显著，那么进入步骤3。  3.确认「小改进」是否novel的。 这一点对初学者来说其实不太容易。 机器学习的发展太快，论文太多了。如果你没有长期阅读文献的习惯，你很难靠自己来确定什么方法是novel的。 这个时候，就是导师发挥作用的时候了。你的导师对你的研究领域应该有相当程度的了解，应该在这个时候告诉你，你的方法新颖性如何、价值几何，哪些文献和你的工作完全重合/紧密相关/有一些关联。 然后，你应该自己去熟悉这部分文献，再追踪一些导师没提到的相关文献，理解自己的方法和已有工作的关系。 一个优秀的导师可以给出很好的方向性的建议。  3.1 你的改进和某工作A完全重复，或者只是改了某个已有方法的超参数。 这是最常见的情况。旅程结束。  3.2 你的方法很新颖，未曾见过。 这种情况非常少见。如果你和你的导师在熟悉相关文献的情况下都认为是这种情况，那么发论文就是自然而然的事了。根据导师的指导，做充分的实验对比，给出一定理论上的支持。  3.3 你的方法和某工作A很相关，但是你做了某些前人未发现的创新，获得了性能上的提升。 这是大多数科研工作所面对的情况。 这种情况，你或多或少都可以发一篇论文。根据方法创新的程度、性能提升的程度，你的工作价值当然就很不同。 怎么把一个有价值的改进夯实（solid）？怎么能让更多学者广泛认可这个改进的价值？怎么在以后引发更多跟踪性工作？成熟的科研工作者需要很擅长处理这种局面的。这也是学术训练的重点之一。  最后这种情况反而是科研工作者最常面对的情况。多经历几次就好。 一些哪怕看起来很平凡的地方也有宝藏。  生成了一个简单流程图：  就拿深度学习里必不可少的Weight Decay来举个例子。 初学者也知道，很多文章里也介绍了的一个很平凡的结论——L2 Regularization等效于一个Gaussian prior，也等效于Weight Decay。 在PyTorch和TensorFlow官方库实现的optimizer里，大家也一直用着L2 Regularization的算法，叫着Weight Decay的名字。很少有人在意他们的区别。 但是L2 Regularization、Gaussian prior和Weight Decay实际上还是不一样的。动机不一样，实现也只对特别基本的优化器一样（比如vanilla SGD，带了动量和自适应学习率的都不对）。 （1）L2 Regularization在优化里是为了改善目标函数的凸性，加快收敛率。 （2）贝叶斯理论里需要一个我们不知道但是先验存在的一个参数分布，我们要尽量去猜一个合理的prior才能得到好的结果。我们通常选择一个比较弱的Gaussian prior。正好，从这个Gaussian prior到一个delta posterior的KL Divergence里给出了L2 regularization的形式。所以这里猜一个合适的Gaussian prior为了accuracy。 （3）神经网络里的Weight Decay是在1989年的[1]里提出来的，最重要的目的就是为了控制weight norm。    Weight Decay要不要和梯度解耦？ 对于深度学习来说：如果Weight Decay的主要目的是为了（1）和（2）的话，那就不应该和梯度解耦；如果Weight Decay的主要目的是为了（3）的话，那就应该和梯度解耦。 99%的人没有去在意这个问题，所以有了2017年Decoupled Weight Decay Regularization [2]这个工作，确实应该解开和梯度的耦合。PyTorch和TensorFlow很快就把decoupled weight decay这个技术加进官方库了。    Weight Decay要不要和学习率耦合？ 这是一个分析学习动力学才能获得的一个insight。 99%的人没有在意这个问题，所以有了今年刚公开的一个ICLR 2021 submission: Stable Weight Decay Regularization [3]. 正确的Weight Decay带来的提升效果非常显著。你只需要Adam + Weight Decay就能比一般的魔改Adam强很多了。    这种最常见的技术里的隐藏问题往往都很重要也很难被发现。以后有空单独写写「炼丹的科学」，这里就不展开细节了。有兴趣可以直接读paper。  References [1] Hanson, S. J., & Pratt, L. Y. (1989). Comparing biases for minimal network construction with back-propagation. In Advances in neural information processing systems(pp. 177-185). [2] Loshchilov, I., & Hutter, F. (2018, September). Decoupled Weight Decay Regularization. In International Conference on Learning Representations. [3] ICLR 2021 submission: Stable Weight Decay Regularization https://openreview.net/pdf?id=YzgAOeA67xX